Aller au contenu principal
SécuritéThe Verge AI6sem

Le système de tatouage numérique IA de Google a-t-il été percé ?

Résumé IASource uniqueImpact UE
Source originale ↗·

Un développeur indépendant affirme avoir réingénié SynthID, le système de tatouage numérique développé par Google DeepMind pour identifier les images générées par intelligence artificielle. L'individu, qui se présente sous le pseudonyme Aloshdenny, a publié son travail en open source sur GitHub et décrit sa méthode sur Medium : il aurait utilisé seulement 200 images générées par Gemini, des techniques de traitement du signal, et beaucoup de temps libre. Selon lui, aucun réseau de neurones ni accès propriétaire n'ont été nécessaires. Google conteste ces affirmations et affirme que SynthID n'a pas été compromis.

Si la démonstration s'avérait fondée, les conséquences seraient significatives : SynthID est présenté comme un outil clé pour lutter contre la désinformation et les deepfakes, en permettant de tracer l'origine des contenus synthétiques. Pouvoir retirer ou insérer ces marqueurs invisibles à la demande remettrait en cause toute la chaîne de confiance que Google cherche à construire autour de ses modèles génératifs, avec des implications directes pour les plateformes, les journalistes et les régulateurs.

SynthID a été lancé en 2023 par Google DeepMind comme solution technique à la prolifération des images artificielles non détectables. Le système intègre un filigrane imperceptible directement dans les pixels générés, censé résister aux modifications courantes. La controverse s'inscrit dans un débat plus large sur la robustesse des systèmes de provenance des contenus IA, alors que l'Union européenne et d'autres régulateurs poussent à l'adoption de standards de traçabilité. L'affaire souligne combien ces mécanismes, s'ils ne sont pas cryptographiquement solides, peuvent offrir une fausse sécurité.

Impact France/UE

Si la vulnérabilité est confirmée, cela fragilise les fondements techniques sur lesquels s'appuient les régulateurs européens, notamment dans le cadre de l'AI Act, pour imposer des standards de traçabilité obligatoire des contenus synthétiques.

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

La technologie de tatouage numérique SynthID de Google adoptée par OpenAI, Nvidia et d'autres
1Ars Technica AI 

La technologie de tatouage numérique SynthID de Google adoptée par OpenAI, Nvidia et d'autres

Google a annoncé que sa technologie de marquage SynthID, développée pour identifier les contenus générés par intelligence artificielle, est désormais adoptée par des acteurs majeurs du secteur, dont OpenAI et Nvidia. Lancée il y a trois ans, SynthID a déjà permis de labelliser 100 milliards d'images et de vidéos, ainsi que l'équivalent de 60 000 ans d'audio. Ce déploiement massif s'accélère avec l'ouverture de la technologie à des partenaires extérieurs à Google. Parallèlement, Google renforce son engagement envers le standard C2PA, une norme qui intègre des métadonnées dans les fichiers pour décrire leur mode de création. Les smartphones Pixel 10 sont les premiers à embarquer C2PA nativement : chaque photo prise avec l'appareil contient des informations sur son traitement, et les images comportant des éléments génératifs sont automatiquement taguées. Cette fonctionnalité sera étendue aux vidéos des Pixel 8, 9 et 10 dans les prochaines semaines. L'enjeu est considérable à une époque où les deepfakes et les contenus synthétiques atteignent un niveau de réalisme qui rend leur détection impossible à l'œil nu. Là où l'on repérait autrefois facilement une IA aux doigts en trop sur une image, les générateurs actuels produisent des visuels indiscernables du réel. SynthID répond à ce problème en inscrivant un filigrane numérique imperceptible directement dans le contenu, sans dégrader sa qualité. L'adoption par OpenAI et Nvidia élargit significativement la portée de cette solution, couvrant potentiellement une part croissante des contenus IA produits à l'échelle mondiale. Google intègre également ces capacités dans ses propres produits : Gemini sera bientôt capable d'analyser la provenance d'un fichier en s'appuyant sur les métadonnées C2PA, et cette même fonctionnalité arrivera dans Chrome et Google Search dans quelques mois. Cette stratégie à deux niveaux, SynthID pour le marquage invisible, C2PA pour les métadonnées explicites, positionne Google comme un acteur central dans la bataille pour la traçabilité des contenus à l'ère de l'IA générative, un sujet qui mobilise régulateurs, plateformes et sociétés civiles autour du monde.

UEL'adoption massive de SynthID et du standard C2PA par les grands acteurs de l'IA facilite la conformité des plateformes européennes aux exigences de traçabilité et de transparence des contenus imposées par l'AI Act.

SécuritéOpinion
1 source
L'insécurité numérique à l'ère de l'IA
2MIT Technology Review 

L'insécurité numérique à l'ère de l'IA

Lors de la conférence EmTech AI organisée par le MIT Technology Review, Tarique Mustafa, cofondateur et PDG de GCCybersecurity, Inc., a présenté un état des lieux alarmant de la cybersécurité à l'heure de l'intelligence artificielle. Son argument central : l'IA ne se contente pas de transformer les outils de défense, elle redéfinit en profondeur la surface d'attaque, rendant les approches héritées des décennies précédentes structurellement inadaptées. Mustafa, qui dirige également Chorology, Inc., une filiale spécialisée dans la conformité des données, a passé plus de vingt ans à développer des systèmes autonomes de protection contre les fuites de données, aboutissant à une plateforme de quatrième et cinquième génération capable d'opérer sans intervention humaine. L'enjeu dépasse la simple mise à jour technologique. En intégrant l'IA dans les infrastructures d'entreprise, les organisations multiplient les points d'entrée potentiels pour des attaquants qui, eux aussi, exploitent des modèles automatisés. Une défense pensée après coup, superposée à des systèmes existants, ne suffit plus : la sécurité doit être architecturée dès la conception, avec l'IA comme composante centrale plutôt que comme couche additionnelle. Pour les entreprises qui déploient massivement des outils d'IA générative, des agents autonomes ou des pipelines de traitement de données à grande échelle, ce changement de paradigme est immédiat et concret. La classification des données, la prévention des fuites (DLP) et la gestion de la posture de sécurité des données (DSPM) deviennent des disciplines critiques dans un environnement où les volumes traités et la vitesse d'exécution dépassent les capacités humaines de supervision. Mustafa incarne une génération d'experts qui ont traversé plusieurs cycles technologiques dans la sécurité. Passé par Symantec, MCI WorldCom et EDS, il a fondé NexTier Networks en Californie avant de créer GCCybersecurity. Titulaire de plusieurs brevets américains (USPTO) en représentation de la connaissance et en planification par IA, il a contribué à formaliser des approches que l'industrie commence seulement à adopter à grande échelle. Sa présence à EmTech AI reflète une prise de conscience croissante dans les milieux technologiques : la course entre attaquants et défenseurs est désormais une course entre systèmes automatisés, et les organisations qui n'intègrent pas cette réalité dans leur stratégie de sécurité risquent de prendre un retard difficile à combler.

SécuritéOpinion
1 source
Google a stoppé une attaque zero-day développée avec l'aide de l'IA
3The Verge AI 

Google a stoppé une attaque zero-day développée avec l'aide de l'IA

Google a identifié et neutralisé pour la première fois une faille zero-day dont le code d'exploitation avait été développé à l'aide d'une intelligence artificielle. Selon un rapport du Google Threat Intelligence Group (GTIG), des cybercriminels de premier plan préparaient un événement d'exploitation massive ciblant un outil d'administration web open-source non divulgué. L'objectif était de contourner l'authentification à deux facteurs de cet outil, une mesure de sécurité aujourd'hui considérée comme incontournable. Les chercheurs de Google ont repéré l'implication d'un LLM dans le script Python utilisé pour l'attaque grâce à plusieurs indices : un score CVSS halluciné et une structure de code trop formelle, typique des productions de modèles de langage entraînés sur des données académiques. Cette découverte marque un tournant dans le paysage des cybermenaces. L'utilisation d'outils d'IA générative pour produire des exploits opérationnels abaisse considérablement la barrière d'entrée pour les attaquants, permettant à des acteurs moins techniques de concevoir des attaques sophistiquées. Le contournement de l'authentification à deux facteurs à grande échelle aurait pu compromettre des milliers de systèmes administrés via cet outil. Cette affaire s'inscrit dans une tendance croissante documentée par les équipes de sécurité de Google, Microsoft et d'autres acteurs majeurs : des groupes cybercriminels, parfois liés à des États, expérimentent activement les LLMs pour accélérer la recherche de vulnérabilités et la rédaction de code malveillant. La capacité à détecter les artefacts stylistiques laissés par les IA dans le code d'attaque pourrait devenir une discipline défensive à part entière dans les années à venir.

UELa capacité des cybercriminels à utiliser des LLMs pour concevoir des exploits opérationnels menace directement les infrastructures d'administration web des entreprises et administrations françaises et européennes.

💬 Ce qui me retient là-dedans, c'est pas l'exploit, c'est comment Google l'a repéré : un score CVSS halluciné et un code trop propre, trop académique pour sortir de mains humaines. Si tu vois où ça mène, détecter les artefacts stylistiques des IA dans du code malveillant va devenir une vraie discipline forensic à part entière. La question c'est combien de temps cette fenêtre reste ouverte avant que les modèles s'améliorent.

SécuritéActu
1 source
5 bonnes pratiques pour sécuriser les systèmes d'IA
4AI News 

5 bonnes pratiques pour sécuriser les systèmes d'IA

Les organisations qui intègrent l'intelligence artificielle dans leurs opérations critiques font face à une surface d'attaque inédite que les cadres de sécurité traditionnels n'ont pas été conçus pour couvrir. Face à cette réalité, cinq pratiques fondamentales se dégagent pour protéger ces systèmes : contrôle d'accès strict, défense contre les menaces propres aux modèles, visibilité unifiée de l'écosystème, surveillance continue et gestion rigoureuse des vulnérabilités. Le contrôle d'accès basé sur les rôles (RBAC) limite l'exposition en n'accordant les permissions qu'aux personnes dont la fonction le justifie. Le chiffrement des modèles et des données d'entraînement, aussi bien au repos qu'en transit, constitue une protection indispensable, notamment lorsque ces données contiennent du code propriétaire ou des informations personnelles. Sur le front des menaces spécifiques aux LLM, l'injection de prompt occupe la première place du classement OWASP Top 10 pour les applications à base de grands modèles de langage : un attaquant insère des instructions malveillantes dans une entrée pour détourner le comportement du modèle. Des pare-feux spécialisés pour l'IA, capables de valider et d'assainir les entrées avant qu'elles n'atteignent le modèle, constituent une première ligne de défense directe. Des exercices de red teaming simulant des scénarios réels — empoisonnement de données, attaques par inversion de modèle — permettent de détecter les failles avant que des acteurs malveillants ne les exploitent. L'enjeu dépasse la simple protection technique : c'est la fiabilité de systèmes désormais embarqués dans des décisions critiques qui est en jeu. Un modèle compromis par injection de prompt peut divulguer des données confidentielles, produire des sorties trompeuses ou servir de point d'entrée latéral vers d'autres systèmes. La fragmentation des outils de sécurité aggrave le problème : lorsque les données de télémétrie réseau, cloud, identité et endpoints restent cloisonnées, les équipes ne peuvent pas corréler une connexion anormale, un mouvement latéral et une tentative d'exfiltration en un tableau de menace cohérent. Le cadre de cybersécurité pour l'IA du NIST est explicite sur ce point : sécuriser ces systèmes implique de couvrir l'ensemble des actifs concernés, pas seulement les plus visibles. La sécurité de l'IA ne peut pas être une configuration ponctuelle, car les modèles évoluent en permanence : mises à jour, nouveaux pipelines de données, changements de comportement des utilisateurs. Les outils de détection basés sur des règles statiques peinent à suivre ce rythme, car ils s'appuient sur des signatures d'attaques connues plutôt que sur une analyse comportementale en temps réel. La surveillance continue permet d'établir une baseline comportementale et de signaler immédiatement les déviations : sorties inattendues d'un modèle, variation soudaine dans les appels API, ou accès inhabituels d'un compte privilégié. Ce contexte s'inscrit dans une prise de conscience plus large de l'industrie : les incidents liés à l'IA — du biais algorithmique aux attaques adversariales sophistiquées — se multiplient à mesure que ces systèmes gagnent en puissance et en déploiement, rendant une stratégie de défense en profondeur non plus optionnelle, mais structurellement nécessaire.

UEL'AI Act européen imposant des exigences de sécurité pour les systèmes à haut risque, ces pratiques sont directement pertinentes pour les organisations européennes en phase de mise en conformité.

SécuritéOpinion
1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour