Comment Project Maven a convaincu l'armée d'adopter l'IA

Les défenseurs adoptent aussi l'injection de prompts

Des chercheurs de Tracebit ont annoncé lundi avoir découvert une méthode simple pour neutraliser les agents d'intelligence artificielle utilisés par des attaquants pour pirater des infrastructures cloud. Le principe consiste à placer des injections de prompt directement à côté des mots de passe, clés cryptographiques et autres secrets stockés sur AWS. Lorsqu'un agent LLM malveillant tente d'accéder à ces données sensibles, il tombe sur une instruction cachée qui lui ordonne d'effectuer une action interdite par ses propres garde-fous, les mécanismes de sécurité intégrés par les développeurs pour empêcher les IA de nuire. Résultat, le modèle s'arrête de lui-même, mettant fin à l'attaque en cours. Cette technique renverse une logique jusqu'ici à sens unique. Les injections de prompt sont traditionnellement l'arme favorite des attaquants: une commande habilement dissimulée dans un email, une invitation de calendrier ou un document suffit souvent à faire exécuter par un LLM des actions malveillantes, comme l'exfiltration de données confidentielles. Que des équipes de défense retournent cette même faille contre les assaillants marque un tournant. Pour les entreprises qui déploient des agents IA autonomes capables d'explorer des systèmes et de manipuler des identifiants, cela ouvre une piste de protection accessible et peu coûteuse, sans nécessiter de refonte des architectures de sécurité existantes. Cette découverte s'inscrit dans un contexte plus large où la sécurité des agents IA autonomes devient un enjeu majeur, à mesure que ces outils gagnent en autonomie et en capacité d'action sur des environnements sensibles comme le cloud. Les LLM utilisés à des fins offensives peuvent désormais scanner des systèmes, repérer des identifiants exposés et tenter de les exploiter sans supervision humaine constante. Face à cette menace grandissante, les chercheurs en sécurité explorent différentes pistes défensives, et cette méthode de piégeage par injection de prompt pourrait rapidement être adoptée par d'autres équipes de sécurité, voire intégrée nativement dans les outils de protection cloud, ouvrant la voie à une véritable course aux armements entre attaquants et défenseurs autour du contrôle des agents IA.

💬 Bonne nouvelle pour une fois côté défense: retourner l'injection de prompt contre l'attaquant, en planquant l'instruction d'arrêt à côté des secrets AWS, c'est malin et ça coûte trois fois rien à déployer. Reste que ça marche parce que l'attaquant utilise un agent avec des garde-fous actifs, un assaillant qui bricole son propre LLM sans ces limites passera au travers sans même s'en rendre compte. Le vrai signal ici, c'est que la sécurité cloud entre dans une course aux armements où le prompt lui-même devient un terrain de bataille, pas juste le code ou le réseau.

La propre IA de Meta a été détournée pour pirater des comptes Instagram

Le chatbot d'assistance IA de Meta a été exploité par des hackers pour pirater des comptes Instagram, selon une enquête de 404 Media relayée par The Verge. Une vidéo diffusée sur Telegram montre la technique utilisée : un attaquant demandait simplement au chatbot de modifier l'adresse e-mail associée au compte d'une autre personne, puis déclenchait une réinitialisation du mot de passe pour en prendre le contrôle total. Meta affirme que la faille a depuis été corrigée. La découverte est particulièrement embarrassante pour Meta, car elle révèle que son propre outil d'aide aux utilisateurs pouvait être retourné contre eux sans contournement technique complexe. Le chatbot, censé simplifier la gestion des comptes, devenait ainsi une porte d'entrée pour des acteurs malveillants. Le cas le plus visible : le compte @obamawhitehouse sur Instagram, lié à l'administration Obama, a commencé à publier des images de propagande iranienne après avoir été compromis, attirant l'attention de milliers d'abonnés avant d'être repris en main. Cet incident illustre un risque émergent propre à l'intégration de l'IA dans les systèmes d'authentification et de support client : un modèle trop permissif peut être manipulé via des instructions en langage naturel, sans que les garde-fous traditionnels ne s'activent. Des comptes d'institutions américaines, dont celui du chef de l'US Space Force, auraient également été touchés dans la même vague. La faille soulève des questions sur la robustesse des contrôles d'identité dans les interfaces conversationnelles déployées à grande échelle.

« Comment j'ai fait basculer l'IA du côté obscur »

Le chercheur en cybersécurité Dave Kuszmar a mis au jour plusieurs failles systémiques permettant de contourner les garde-fous des grands modèles de langage, une découverte qu'il détaille dans un long témoignage. Ancien directeur de la sécurité dans une startup spécialisée en IA, il a quitté ce poste en octobre 2024 pour lancer sa propre activité de conseil en sécurité numérique haut de gamme. C'est en observant que GPT-4o ignorait systématiquement la date, l'heure ou l'année réelles, se rabattant sur sa date limite de connaissances, qu'il a commencé à explorer les angles morts de ces systèmes. Ses techniques lui ont permis d'obtenir des instructions détaillées pour fabriquer des cocktails Molotov, cuisiner de la méthamphétamine, amorcer un processus d'enrichissement d'uranium jusqu'au grade militaire, ou encore compter les cartes au blackjack. La démonstration la plus frappante s'est déroulée dans le jeu vidéo Fortnite : avec son collègue Matthew Gore-Kormanik, alias Zigula, Kuszmar a discuté avec le personnage de Dark Vador, dont le moteur conversationnel s'appuyait sur Google Gemini, et a réussi à le convaincre de livrer ces informations sensibles. Cette faille n'est pas isolée : selon Kuszmar, elle traverse la quasi-totalité des grands modèles commerciaux, ce qui révèle un problème de sécurité à l'échelle de toute l'industrie plutôt qu'un simple bug ponctuel. Le paradoxe qu'il pointe est que les mêmes restrictions imposées par les éditeurs pour sécuriser leurs modèles constituent souvent le levier que des utilisateurs malveillants peuvent exploiter pour les faire dérailler. Étant donné la diffusion massive des chatbots grand public, la facilité relative avec laquelle ces outils peuvent être amenés à produire des instructions dangereuses, même sans garantie absolue de leur exactitude technique, représente selon lui un risque bien réel pour la sécurité publique. Ce qui inquiète particulièrement Kuszmar, c'est l'absence de réaction des grandes entreprises d'IA lorsqu'il a tenté de signaler ces vulnérabilités par les canaux habituels de divulgation responsable. Ce silence l'a poussé à rendre son travail public pour alerter avant qu'il ne soit trop tard. Il appelle désormais à ralentir le rythme de déploiement des modèles, à renforcer la transparence des entreprises sur leurs limites de sécurité, et à financer une recherche approfondie et à grande échelle sur la sûreté des LLM, avant que ces systèmes ne soient davantage intégrés aux usages quotidiens et aux infrastructures critiques.

💬 Le détail qui tue : c'est pas un chercheur en labo qui a trouvé la faille, c'est un mec qui papotait avec Dark Vador dans Fortnite. Ça dit tout du problème : les garde-fous des LLM tiennent sur des rustines de prompt, pas sur une vraie architecture de sécurité, et dès qu'un jeu vidéo embarque le même modèle sous un autre nom, la faille voyage avec lui. Le vrai scandale, c'est pas la méthamphétamine version chatbot, c'est le silence des boîtes d'IA quand on leur signale le problème.

Le nouveau guide de l'IA du Pentagone considère l'adoption lente comme un risque plus grand que l'"alignement imparfait

Le Département de la Marine américaine (US Navy) a signé une nouvelle stratégie visant à « militariser » ses données et l'intelligence artificielle afin de construire une flotte « AI-first ». Concrètement, des grands modèles de langage (LLM) seraient déployés directement à bord des navires de guerre, et un conseil de guerre dédié à l'IA aurait pour mission de prioriser les scénarios opérationnels. Le message central de ce document stratégique est clair : selon le Pentagone, une adoption trop lente de l'IA représente aujourd'hui un risque plus grand pour la sécurité nationale qu'un « alignement imparfait » des systèmes, c'est-à-dire des IA dont le comportement ne serait pas parfaitement maîtrisé ou prévisible. Cette orientation marque un tournant dans la doctrine militaire américaine face à l'IA. En plaçant la vitesse de déploiement au-dessus de la prudence technique, la Marine assume un pari risqué : celui de déployer des systèmes d'IA embarqués avant que leurs garde-fous ne soient totalement éprouvés, dans un contexte où les enjeux touchent directement à la sécurité des opérations militaires et à la vie des équipages. Pour l'industrie de la défense, ce choix ouvre la voie à des contrats massifs autour de l'IA embarquée et de l'infrastructure de données militaires, tout en positionnant les États-Unis dans une course technologique où la rapidité d'exécution devient un critère stratégique face à des rivaux comme la Chine. Cette stratégie s'inscrit dans une dynamique plus large au sein du Pentagone, qui multiplie depuis plusieurs mois les initiatives pour intégrer l'IA générative dans ses opérations, malgré les inquiétudes persistantes sur la fiabilité et la sécurité de ces technologies en contexte militaire. Le débat sur l'alignement de l'IA, habituellement centré sur les risques éthiques et de sécurité civile, se retrouve ainsi reformulé en termes de risque stratégique et concurrentiel. Reste à voir comment cette doctrine sera mise en œuvre concrètement, et quelles garanties seront exigées avant que des LLM ne prennent part à des décisions opérationnelles sensibles.

💬 Le pari est clair : mieux vaut une IA imparfaite déployée vite qu'une IA parfaite jamais livrée. Sur le papier ça se défend, la Chine n'attend pas que les garde-fous soient nickel. Mais embarquer des LLM sur des navires de guerre avant que l'alignement soit vraiment maîtrisé, c'est transformer la flotte en terrain de test grandeur nature, et ça, les équipages n'ont pas signé pour.