Les défenseurs adoptent aussi l'injection de prompts
Des chercheurs de Tracebit ont annoncé lundi avoir découvert une méthode simple pour neutraliser les agents d'intelligence artificielle utilisés par des attaquants pour pirater des infrastructures cloud. Le principe consiste à placer des injections de prompt directement à côté des mots de passe, clés cryptographiques et autres secrets stockés sur AWS. Lorsqu'un agent LLM malveillant tente d'accéder à ces données sensibles, il tombe sur une instruction cachée qui lui ordonne d'effectuer une action interdite par ses propres garde-fous, les mécanismes de sécurité intégrés par les développeurs pour empêcher les IA de nuire. Résultat, le modèle s'arrête de lui-même, mettant fin à l'attaque en cours.
Résumé et traduction réalisés par Le Fil IA à partir de Ars Technica AI. Lire l'article original →
Cette technique renverse une logique jusqu'ici à sens unique. Les injections de prompt sont traditionnellement l'arme favorite des attaquants: une commande habilement dissimulée dans un email, une invitation de calendrier ou un document suffit souvent à faire exécuter par un LLM des actions malveillantes, comme l'exfiltration de données confidentielles. Que des équipes de défense retournent cette même faille contre les assaillants marque un tournant. Pour les entreprises qui déploient des agents IA autonomes capables d'explorer des systèmes et de manipuler des identifiants, cela ouvre une piste de protection accessible et peu coûteuse, sans nécessiter de refonte des architectures de sécurité existantes.
Cette découverte s'inscrit dans un contexte plus large où la sécurité des agents IA autonomes devient un enjeu majeur, à mesure que ces outils gagnent en autonomie et en capacité d'action sur des environnements sensibles comme le cloud. Les LLM utilisés à des fins offensives peuvent désormais scanner des systèmes, repérer des identifiants exposés et tenter de les exploiter sans supervision humaine constante. Face à cette menace grandissante, les chercheurs en sécurité explorent différentes pistes défensives, et cette méthode de piégeage par injection de prompt pourrait rapidement être adoptée par d'autres équipes de sécurité, voire intégrée nativement dans les outils de protection cloud, ouvrant la voie à une véritable course aux armements entre attaquants et défenseurs autour du contrôle des agents IA.
Les entreprises européennes déployant des agents IA autonomes sur AWS pourraient adopter cette technique défensive, mais aucun acteur ou réglementation français/européen n'est directement implique.
Bonne nouvelle pour une fois côté défense: retourner l'injection de prompt contre l'attaquant, en planquant l'instruction d'arrêt à côté des secrets AWS, c'est malin et ça coûte trois fois rien à déployer. Reste que ça marche parce que l'attaquant utilise un agent avec des garde-fous actifs, un assaillant qui bricole son propre LLM sans ces limites passera au travers sans même s'en rendre compte. Le vrai signal ici, c'est que la sécurité cloud entre dans une course aux armements où le prompt lui-même devient un terrain de bataille, pas juste le code ou le réseau.