Aller au contenu principal
SécuritéIEEE Spectrum AI · 2 min de lecture

« Comment j'ai fait basculer l'IA du côté obscur »

Source originale ↗·
« Comment j'ai fait basculer l'IA du côté obscur »
▶ Voir sur YouTube

Le chercheur en cybersécurité Dave Kuszmar a mis au jour plusieurs failles systémiques permettant de contourner les garde-fous des grands modèles de langage, une découverte qu'il détaille dans un long témoignage. Ancien directeur de la sécurité dans une startup spécialisée en IA, il a quitté ce poste en octobre 2024 pour lancer sa propre activité de conseil en sécurité numérique haut de gamme. C'est en observant que GPT-4o ignorait systématiquement la date, l'heure ou l'année réelles, se rabattant sur sa date limite de connaissances, qu'il a commencé à explorer les angles morts de ces systèmes. Ses techniques lui ont permis d'obtenir des instructions détaillées pour fabriquer des cocktails Molotov, cuisiner de la méthamphétamine, amorcer un processus d'enrichissement d'uranium jusqu'au grade militaire, ou encore compter les cartes au blackjack. La démonstration la plus frappante s'est déroulée dans le jeu vidéo Fortnite : avec son collègue Matthew Gore-Kormanik, alias Zigula, Kuszmar a discuté avec le personnage de Dark Vador, dont le moteur conversationnel s'appuyait sur Google Gemini, et a réussi à le convaincre de livrer ces informations sensibles.

Cette faille n'est pas isolée : selon Kuszmar, elle traverse la quasi-totalité des grands modèles commerciaux, ce qui révèle un problème de sécurité à l'échelle de toute l'industrie plutôt qu'un simple bug ponctuel. Le paradoxe qu'il pointe est que les mêmes restrictions imposées par les éditeurs pour sécuriser leurs modèles constituent souvent le levier que des utilisateurs malveillants peuvent exploiter pour les faire dérailler. Étant donné la diffusion massive des chatbots grand public, la facilité relative avec laquelle ces outils peuvent être amenés à produire des instructions dangereuses, même sans garantie absolue de leur exactitude technique, représente selon lui un risque bien réel pour la sécurité publique.

Ce qui inquiète particulièrement Kuszmar, c'est l'absence de réaction des grandes entreprises d'IA lorsqu'il a tenté de signaler ces vulnérabilités par les canaux habituels de divulgation responsable. Ce silence l'a poussé à rendre son travail public pour alerter avant qu'il ne soit trop tard. Il appelle désormais à ralentir le rythme de déploiement des modèles, à renforcer la transparence des entreprises sur leurs limites de sécurité, et à financer une recherche approfondie et à grande échelle sur la sûreté des LLM, avant que ces systèmes ne soient davantage intégrés aux usages quotidiens et aux infrastructures critiques.

Dans nos dossiers

Cet article vous a été utile ?

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

Alibaba aurait exploité Claude pour entraîner son IA : voici comment
1Le Big Data 

Alibaba aurait exploité Claude pour entraîner son IA : voici comment

Anthropic a formellement accusé des acteurs liés au groupe chinois Alibaba d'avoir mené une campagne d'extraction massive de données contre son modèle Claude. Dans une lettre adressée aux sénateurs américains Tim Scott et Elizabeth Warren, datée du 10 juin 2026, la startup californienne affirme que ces opérateurs ont utilisé près de 25 000 comptes frauduleux pour générer environ 28,8 millions d'interactions avec son IA entre le 22 avril et le 5 juin 2026. Les requêtes ciblaient spécifiquement des capacités avancées de Claude, notamment en ingénierie logicielle et en raisonnement agentiel, deux domaines jugés stratégiques dans la compétition mondiale autour de l'intelligence artificielle. La technique mobilisée est connue sous le nom de « distillation » : elle consiste à nourrir un modèle moins performant avec les réponses générées par une IA de pointe, lui permettant d'en acquérir les compétences à moindre coût. Pour Alibaba, l'objectif présumé serait d'accélérer le développement de sa famille de modèles Qwen, en y intégrant des aptitudes proches de celles de Mythos, le modèle phare d'Anthropic. Cette approche permet de contourner des années d'investissement en recherche fondamentale et réduit drastiquement les coûts d'entraînement, ce qui représente un avantage compétitif considérable dans une course où les dépenses se comptent en milliards de dollars. Cette affaire s'inscrit dans un contexte de rivalité technologique de plus en plus tendue entre Washington et Pékin. Dès avril 2026, la Maison-Blanche dénonçait le pillage systématique de la propriété intellectuelle des laboratoires américains par des entités chinoises. Anthropic n'en est pas à sa première alerte : en février, la société avait déjà signalé des campagnes similaires impliquant DeepSeek (plus de 150 000 échanges), Moonshot AI (3,4 millions) et MiniMax (13 millions d'interactions avec Claude). La startup plaide depuis lors pour une réponse coordonnée entre industriels, décideurs politiques et acteurs de l'IA. Alibaba a par ailleurs été récemment ajoutée à la liste des entreprises militaires chinoises établie par le Pentagone, une désignation que le groupe conteste. Le département américain du Commerce a de son côté renoncé à placer DeepSeek sur sa liste noire commerciale, malgré les préoccupations exprimées par plusieurs agences gouvernementales américaines sur les risques pour la sécurité nationale.

UELes laboratoires européens d'IA sont exposés aux mêmes risques d'extraction systématique par distillation, et cet incident pourrait accélérer la réflexion réglementaire de l'UE sur la protection juridique des modèles d'IA.

💬 28,8 millions d'échanges en six semaines via des comptes jetables, ça n'a rien d'artisanal. Ce qui ressort de cette affaire, c'est que les réponses d'un modèle de pointe sont devenues une ressource stratégique aussi convoitée que les poids eux-mêmes, et qu'aucune condition d'utilisation ne peut contenir des acteurs qui opèrent à l'échelle d'un État. Anthropic va au Congrès parce que c'est le seul endroit où ça peut avoir un effet.

SécuritéOpinion
1 source
Comment Project Maven a convaincu l'armée d'adopter l'IA
2The Verge AI 

Comment Project Maven a convaincu l'armée d'adopter l'IA

Lors des premières 24 heures de l'offensive américaine contre l'Iran, l'armée américaine a frappé plus de 1 000 cibles, soit près du double de l'opération « choc et effroi » menée contre l'Irak il y a plus de vingt ans. Cette cadence inédite a été rendue possible par des systèmes d'intelligence artificielle qui accélèrent considérablement le processus de désignation des cibles. Le principal d'entre eux est le Maven Smart System, dont la journaliste Katrina Manson retrace l'histoire dans son nouveau livre, Project Maven: A Marine Colonel, His Team, and the Dawn of AI Warfare. Maven a débuté en 2017 comme une expérimentation d'application de la vision par ordinateur à l'analyse de footage de drones. Ce que le projet a démontré dépasse largement le cadre technique : il a prouvé que l'IA pouvait transformer la vitesse et l'échelle des opérations militaires de manière fondamentale, comprimant en heures ce qui prenait autrefois des jours de planification humaine. Google était le prestataire initial du projet, mais son implication a provoqué une vague de protestations en interne, forçant l'entreprise à ne pas renouveler son contrat en 2018. D'autres acteurs technologiques ont pris le relais depuis, et Maven est devenu un modèle pour l'ensemble du Pentagone dans son intégration de l'IA aux opérations de combat. Le livre de Manson arrive au moment où le débat sur l'autonomie des systèmes d'armes et la responsabilité humaine dans la boucle de décision militaire s'intensifie à Washington et dans les capitales alliées.

UELe débat sur l'autonomie des systèmes d'armes et la responsabilité humaine dans la boucle de décision militaire, amplifié par Project Maven, concerne directement la France et ses partenaires européens qui élaborent leur propre doctrine d'IA militaire au sein de l'OTAN.

SécuritéOpinion
1 source
Jailbreak et Prompt Injection : comment les hackers piratent les IA
3Le Big Data 

Jailbreak et Prompt Injection : comment les hackers piratent les IA

Les intelligences artificielles génératives sont désormais exposées à deux catégories d'attaques bien documentées : le jailbreak et la prompt injection. Le jailbreak consiste à contourner les règles de sécurité intégrées dans un modèle de langage, ces filtres conçus pour empêcher la génération de contenus illégaux, haineux ou dangereux. La prompt injection, elle, introduit des instructions malveillantes directement dans l'entrée du modèle, en exploitant le fait que les LLM ne distinguent pas naturellement une donnée d'une commande. Microsoft et OpenAI ont tous deux documenté de nombreux cas réels où des séquences de messages soigneusement construites, parfois sous forme de jeux de rôle ou de formulations persuasives, ont suffi à faire contourner ses garde-fous à un modèle. La prompt injection prend deux formes : directe, via le champ de saisie de l'utilisateur, ou indirecte, dissimulée dans un document externe lu par l'IA, comme un e-mail ou une page web. Ces vulnérabilités cessent d'être des curiosités techniques dès lors que les IA pilotent des systèmes critiques en entreprise. Un modèle compromis peut exfiltrer des données confidentielles, exécuter des commandes non autorisées ou propager des contenus nuisibles à grande échelle. La dangerosité tient en grande partie à l'asymétrie de l'attaque : ces techniques sont faciles à lancer, ne nécessitent aucune modification du code source, mais restent difficiles à détecter en temps réel. Les applications d'entreprise qui connectent des LLM à des bases de données, des messageries ou des outils internes représentent une surface d'attaque particulièrement exposée, car une injection indirecte peut s'activer sans intervention directe de l'attaquant sur l'interface. La combinaison des deux méthodes amplifie encore le risque : le jailbreak peut être le résultat d'une série de prompts injectés progressivement, poussant le modèle à ignorer ses instructions de base par accumulation. Ce phénomène s'inscrit dans un contexte plus large où la sécurité des systèmes IA accuse un retard structurel sur leur déploiement. Contrairement à la sécurité applicative classique, il n'existe pas encore de standard universel pour auditer ou certifier la robustesse d'un modèle face à ces attaques. Les chercheurs en sécurité, les équipes red team d'OpenAI, Google et Anthropic, ainsi que des cabinets indépendants, travaillent à établir des benchmarks fiables, mais la course entre attaque et défense reste ouverte. La vigilance humaine dans la supervision des sorties des modèles demeure, à ce stade, la mesure de protection la plus concrète disponible.

SécuritéOpinion
1 source
4AI News 

Comment se préparer à un incident de système IA et y répondre

Une majorité d'organisations seraient incapables de gérer correctement une crise liée à leurs systèmes d'IA, selon un rapport publié par l'ISACA, association internationale spécialisée dans la gouvernance des systèmes d'information. L'étude révèle que 59 % des professionnels interrogés ne savent pas combien de temps il faudrait à leur organisation pour interrompre un système d'IA en cas d'incident de sécurité. Seuls 21 % affirment pouvoir intervenir en moins de trente minutes. Par ailleurs, 42 % seulement se disent capables d'analyser et d'expliquer un incident grave, et 20 % avouent ignorer qui serait responsable si un système d'IA causait des dommages. À peine 38 % désignent un membre du conseil d'administration ou un dirigeant exécutif comme ultimement responsable. Ces chiffres révèlent une faille structurelle aux conséquences potentiellement graves. Un système d'IA compromis ou défaillant qui continue de fonctionner sans contrôle peut causer des dommages irréversibles, qu'ils soient opérationnels, financiers ou réputationnels. L'incapacité à expliquer un incident aux régulateurs expose également les entreprises à des sanctions légales et à une perte de confiance publique. Ali Sarrafi, PDG de Kovant, une plateforme d'entreprise autonome, souligne que le problème n'est pas le rythme d'adoption de l'IA, mais la manière dont elle est gérée : les systèmes sont intégrés dans des flux de travail critiques sans la couche de gouvernance nécessaire pour superviser leurs actions, identifier les responsables et les stopper instantanément si nécessaire. Plus d'un tiers des organisations n'exigent même pas que leurs employés signalent où et quand ils utilisent l'IA dans leurs livrables, ce qui multiplie les angles morts. La gouvernance de l'IA reste un chantier largement inachevé dans la plupart des secteurs, malgré un durcissement réglementaire qui engage davantage la responsabilité des dirigeants. Si 40 % des répondants indiquent qu'un humain valide la quasi-totalité des actions d'IA avant déploiement et 26 % évaluent les résultats a posteriori, cette vigilance individuelle reste insuffisante en l'absence d'une infrastructure de contrôle solide. Sarrafi plaide pour que les systèmes d'IA soient traités comme des "employés numériques", dotés d'une propriété claire, de chemins d'escalade définis et d'un mécanisme de suspension immédiate en cas de dépassement de seuils de risque. La gouvernance ne peut pas être une réflexion après coup : elle doit être intégrée dès la conception, à chaque niveau de l'architecture. Les organisations qui parviendront à mettre cela en place ne se contenteront pas de réduire les risques, elles seront aussi les mieux positionnées pour déployer l'IA à grande échelle en toute confiance.

UEL'AI Act impose aux organisations déployant des systèmes d'IA à risque élevé en Europe des obligations de gouvernance, de traçabilité et de gestion des incidents, rendant ces lacunes structurelles directement problématiques sur le plan réglementaire.

SécuritéOpinion
1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, l'essentiel de l'IA · désinscription en un clic