Aller au contenu principal
Concevoir des agents IA résistants aux injections de prompts
SécuritéOpenAI Blog · 1 min de lecture

Concevoir des agents IA résistants aux injections de prompts

Source originale ↗·

ChatGPT intègre des mécanismes de défense contre les attaques par injection de prompt en limitant les actions risquées et en protégeant les données sensibles dans les workflows d'agents IA. Ces protections visent à empêcher la manipulation sociale et l'exécution de commandes malveillantes injectées via des entrées externes. Cette approche constitue une référence pour concevoir des agents robustes face aux vecteurs d'attaque courants en environnement de production.

Dans nos dossiers

Cet article vous a été utile ?

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

Les défenseurs adoptent aussi l'injection de prompts
1Ars Technica AI 

Les défenseurs adoptent aussi l'injection de prompts

Des chercheurs de Tracebit ont annoncé lundi avoir découvert une méthode simple pour neutraliser les agents d'intelligence artificielle utilisés par des attaquants pour pirater des infrastructures cloud. Le principe consiste à placer des injections de prompt directement à côté des mots de passe, clés cryptographiques et autres secrets stockés sur AWS. Lorsqu'un agent LLM malveillant tente d'accéder à ces données sensibles, il tombe sur une instruction cachée qui lui ordonne d'effectuer une action interdite par ses propres garde-fous, les mécanismes de sécurité intégrés par les développeurs pour empêcher les IA de nuire. Résultat, le modèle s'arrête de lui-même, mettant fin à l'attaque en cours. Cette technique renverse une logique jusqu'ici à sens unique. Les injections de prompt sont traditionnellement l'arme favorite des attaquants: une commande habilement dissimulée dans un email, une invitation de calendrier ou un document suffit souvent à faire exécuter par un LLM des actions malveillantes, comme l'exfiltration de données confidentielles. Que des équipes de défense retournent cette même faille contre les assaillants marque un tournant. Pour les entreprises qui déploient des agents IA autonomes capables d'explorer des systèmes et de manipuler des identifiants, cela ouvre une piste de protection accessible et peu coûteuse, sans nécessiter de refonte des architectures de sécurité existantes. Cette découverte s'inscrit dans un contexte plus large où la sécurité des agents IA autonomes devient un enjeu majeur, à mesure que ces outils gagnent en autonomie et en capacité d'action sur des environnements sensibles comme le cloud. Les LLM utilisés à des fins offensives peuvent désormais scanner des systèmes, repérer des identifiants exposés et tenter de les exploiter sans supervision humaine constante. Face à cette menace grandissante, les chercheurs en sécurité explorent différentes pistes défensives, et cette méthode de piégeage par injection de prompt pourrait rapidement être adoptée par d'autres équipes de sécurité, voire intégrée nativement dans les outils de protection cloud, ouvrant la voie à une véritable course aux armements entre attaquants et défenseurs autour du contrôle des agents IA.

UELes entreprises européennes déployant des agents IA autonomes sur AWS pourraient adopter cette technique défensive, mais aucun acteur ou réglementation français/européen n'est directement implique.

💬 Bonne nouvelle pour une fois côté défense: retourner l'injection de prompt contre l'attaquant, en planquant l'instruction d'arrêt à côté des secrets AWS, c'est malin et ça coûte trois fois rien à déployer. Reste que ça marche parce que l'attaquant utilise un agent avec des garde-fous actifs, un assaillant qui bricole son propre LLM sans ces limites passera au travers sans même s'en rendre compte. Le vrai signal ici, c'est que la sécurité cloud entre dans une course aux armements où le prompt lui-même devient un terrain de bataille, pas juste le code ou le réseau.

SécuritéActu
1 source
Opus 5 aurait résolu l'injection de prompt via navigateur, la faille de sécurité qui hante les agents IA
2The Decoder 

Opus 5 aurait résolu l'injection de prompt via navigateur, la faille de sécurité qui hante les agents IA

Anthropic affirme avoir résolu l'un des problèmes de sécurité les plus critiques des agents IA opérant dans un navigateur : l'injection de prompt. Selon des tests menés sur 129 scénarios, la combinaison du modèle Opus 5 et du mode Auto Mode atteint un taux de réussite d'attaque par injection de prompt de zéro pour cent. Sans ces couches de protection supplémentaires, ce taux s'élève à 3,7 pour cent. Ces résultats concernent spécifiquement les agents IA capables de naviguer sur le web de manière autonome, en cliquant sur des liens, en remplissant des formulaires ou en exécutant des tâches à travers des sites internet. Si ces chiffres se confirment en conditions réelles d'utilisation, cette avancée aurait des conséquences majeures pour l'ensemble de l'industrie des agents IA. L'injection de prompt représente en effet la menace de sécurité la plus redoutée pour les agents naviguant sur le web : elle permet à du contenu malveillant caché dans une page web (texte invisible, instructions dissimulées dans le code source, ou données provenant de sources tierces) de détourner le comportement de l'agent à l'insu de l'utilisateur. Un taux proche de zéro ouvrirait la voie à un déploiement bien plus large et plus sûr de ces agents pour des tâches sensibles, comme la gestion d'achats en ligne, de réservations ou d'opérations bancaires. Ce problème freine depuis plusieurs années l'adoption des agents IA autonomes par les entreprises et les particuliers, les rendant vulnérables à des manipulations difficiles à détecter. Plusieurs laboratoires de recherche en IA, dont Anthropic, OpenAI et Google, travaillent activement sur des mécanismes de défense contre ces attaques, sans qu'aucune solution définitive n'ait jusqu'ici émergé. Reste à voir si les résultats obtenus par Anthropic se généralisent au-delà des scénarios de test contrôlés et résistent face à des attaquants qui chercheront inévitablement à contourner ces nouvelles protections.

💬 Zéro pour cent sur 129 scénarios, c'est le genre de chiffre qu'on attendait depuis deux ans sur les agents web. Le vrai verrou des agents IA n'a jamais été leurs capacités, c'est la confiance qu'on peut leur accorder face à une page piégée, et c'est précisément ce qu'Anthropic prétend avoir cassé. Bon, sur le papier ça tient, mais le vrai test arrivera quand des attaquants sérieux s'acharneront dessus en prod, pas sur 129 scénarios calibrés en interne.

SécuritéActu
1 source
L'injection de prompts exploite les failles de conception des IA d'entreprise : agents, pipelines RAG et routeurs de modèles ciblés
3VentureBeat AI 

L'injection de prompts exploite les failles de conception des IA d'entreprise : agents, pipelines RAG et routeurs de modèles ciblés

L'injection de prompts s'est imposée comme la menace la plus critique pesant sur les systèmes d'intelligence artificielle en entreprise, selon plusieurs rapports convergents publiés entre 2025 et 2026. L'OWASP LLM Top 10 (édition 2025) la classe en première position pour la deuxième édition consécutive, reconnaissant l'incapacité persistante des grands modèles de langage à distinguer fiablement les instructions des données qu'ils traitent. Le rapport CrowdStrike Global Threat Report 2026, s'appuyant sur le suivi de plus de 280 groupes d'adversaires, documente des injections de prompts malveillants dans des outils d'IA générative légitimes au sein de plus de 90 organisations en 2025, utilisées pour voler des identifiants et des cryptomonnaies. Les attaquants pilotés par l'IA ont augmenté leur volume d'attaques de 89 % en un an, résumant la situation en une formule : "Les prompts sont le nouveau malware." Deux incidents concrets illustrent l'ampleur réelle du problème. En août 2024, des chercheurs de PromptArmor ont révélé une faille dans Slack AI permettant d'exfiltrer des données de canaux privés, y compris des clés API, simplement en plaçant une instruction malveillante dans un canal public. En juin 2025, Aim Security a divulgué EchoLeak (CVE-2025-32711, score CVSS 9.3), premier exploit zero-click documenté contre un système IA en production : en envoyant un seul email piégé, sans aucune interaction de l'utilisateur, un attaquant pouvait forcer Microsoft 365 Copilot à transmettre des fichiers internes vers un serveur externe. Les deux vulnérabilités ont depuis été corrigées. L'impact de ces attaques dépasse largement le cas isolé : elles exposent une faille structurelle dans la manière dont les entreprises déploient l'IA à grande échelle. Lorsqu'un modèle traite des instructions, résume des informations et déclenche des workflows automatisés, il devient difficile de distinguer une commande légitime d'une donnée corrompue. Les agents IA modernes peuvent envoyer des emails, modifier des infrastructures cloud, exécuter du code et interagir avec des systèmes internes, ce qui signifie qu'une seule instruction malveillante peut déclencher des actions aux conséquences réelles et durables. Le problème touche directement les équipes de sécurité, les DSI et les développeurs qui déploient ces systèmes sans protocoles de validation robustes. Les techniques d'injection ont considérablement évolué, ciblant désormais des architectures bien plus complexes que le simple chatbot. L'injection inter-modèles exploite le fait que la sortie corrompue d'un modèle sera traitée par d'autres modèles en aval, propageant ainsi la manipulation à travers toute la chaîne. L'empoisonnement de pipelines RAG consiste à publier des contenus malveillants (documentations, articles, READMEs GitHub) en espérant qu'ils soient ingérés par les systèmes de récupération d'information des entreprises. Le détournement d'agents et les attaques par débordement de contexte, utilisant des fenêtres de millions de tokens pour noyer les garde-fous dans un flot de données, complètent un arsenal en constante expansion. Face à cette réalité, la question n'est plus de savoir si une organisation sera ciblée, mais à quel moment ses pipelines IA seront compromis, et si elle aura mis en place les contrôles nécessaires pour le détecter.

UELes entreprises françaises et européennes déployant Microsoft 365 Copilot, des agents IA ou des pipelines RAG sont directement exposées aux vecteurs documentés, notamment EchoLeak (CVE-2025-32711, CVSS 9.3) qui permettait l'exfiltration silencieuse de fichiers internes sans interaction utilisateur.

SécuritéOpinion
1 source
Les agents IA de GitHub peuvent faire fuiter un dépôt privé via une injection de prompt
4Next INpact 

Les agents IA de GitHub peuvent faire fuiter un dépôt privé via une injection de prompt

Des chercheurs en sécurité de l'entreprise Noma ont démontré une faille baptisée GitLost dans les GitHub Agentic Workflows, la fonctionnalité d'agents IA de GitHub lancée en préversion publique le 11 juin dernier. En se faisant passer pour un vice-président des ventes, les chercheurs ont ouvert un simple ticket de rapport d'erreur sur un dépôt public, glissant au milieu du message une question anodine en apparence sur le contenu du fichier README de deux dépôts privés de la même organisation, nommés « poc » et « testlocal ». Dès que le ticket a été attribué à l'agent IA, celui-ci a récupéré le contenu de ces fichiers privés et l'a recopié directement dans sa réponse publique au ticket, rendant ainsi accessible à tous une information censée rester confidentielle. Selon Noma, c'est l'ajout d'un simple mot de transition, « Additionally », qui a suffi à faire basculer l'agent d'une tâche légitime vers l'exécution de la requête malveillante cachée dans le message. Cette découverte fragilise un peu plus la confiance des développeurs envers GitHub, qui avait pourtant présenté ses agents comme fortement sécurisés. Lancée en février dernier et utilisable avec Copilot CLI, Claude Code ou OpenAI Codex au choix, la fonctionnalité permet d'automatiser la gestion de documentation, de tickets de bugs ou de tests via les GitHub Actions. L'entreprise assurait disposer de plusieurs niveaux de protection : permissions en lecture seule par défaut, exécution en conteneur sandbox derrière un « Agent Workflow Firewall », filtre d'intégrité, validation des résultats et détection automatique des menaces sur toute modification proposée. La démonstration de Noma montre que ces garde-fous peuvent être contournés par une injection de prompt relativement simple, sans exploiter de faille technique complexe, ce qui pose un problème direct pour toute organisation ayant activé ces agents sur des dépôts mêlant contenus publics et privés. L'épisode illustre ce que l'ingénieur Simon Willison appelle le « trio mortel » des agents IA : l'accès à des données confidentielles, le traitement de contenus non fiables provenant de tiers, et la capacité à faire sortir de l'information vers l'extérieur. Dès lors que ces trois conditions sont réunies, comme c'est le cas avec un agent capable de lire des dépôts privés tout en traitant des tickets ouverts par n'importe quel utilisateur externe, l'injection de prompt devient une voie d'attaque quasiment inévitable. GitHub n'a pas encore communiqué publiquement de correctif spécifique face à cette démonstration, alors que l'adoption des agents IA dans la gestion de code se généralise chez de nombreuses entreprises.

UELes organisations européennes utilisant les GitHub Agentic Workflows sur des dépôts mélangeant contenus publics et prives sont exposées au même risque de fuite de données confidentielles via injection de prompt.

💬 Le détail qui tue : un simple mot, « Additionally », glissé dans un ticket public, a suffi à faire cracher à l'agent le contenu de deux dépôts privés. GitHub vendait ses gardes-fous comme du béton armé (sandbox, firewall, permissions en lecture seule) et ça n'a pas tenu deux minutes face à une injection de prompt basique. Dès qu'un agent IA cumule accès aux données privées, lecture de contenus venant d'inconnus et capacité à publier une réponse, la fuite n'est plus une hypothèse, c'est une question de temps.

SécuritéActu
1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, l'essentiel de l'IA · désinscription en un clic