L’économie cachée des prompts : le marché noir de l’IA

Les défenseurs adoptent aussi l'injection de prompts

Des chercheurs de Tracebit ont annoncé lundi avoir découvert une méthode simple pour neutraliser les agents d'intelligence artificielle utilisés par des attaquants pour pirater des infrastructures cloud. Le principe consiste à placer des injections de prompt directement à côté des mots de passe, clés cryptographiques et autres secrets stockés sur AWS. Lorsqu'un agent LLM malveillant tente d'accéder à ces données sensibles, il tombe sur une instruction cachée qui lui ordonne d'effectuer une action interdite par ses propres garde-fous, les mécanismes de sécurité intégrés par les développeurs pour empêcher les IA de nuire. Résultat, le modèle s'arrête de lui-même, mettant fin à l'attaque en cours. Cette technique renverse une logique jusqu'ici à sens unique. Les injections de prompt sont traditionnellement l'arme favorite des attaquants: une commande habilement dissimulée dans un email, une invitation de calendrier ou un document suffit souvent à faire exécuter par un LLM des actions malveillantes, comme l'exfiltration de données confidentielles. Que des équipes de défense retournent cette même faille contre les assaillants marque un tournant. Pour les entreprises qui déploient des agents IA autonomes capables d'explorer des systèmes et de manipuler des identifiants, cela ouvre une piste de protection accessible et peu coûteuse, sans nécessiter de refonte des architectures de sécurité existantes. Cette découverte s'inscrit dans un contexte plus large où la sécurité des agents IA autonomes devient un enjeu majeur, à mesure que ces outils gagnent en autonomie et en capacité d'action sur des environnements sensibles comme le cloud. Les LLM utilisés à des fins offensives peuvent désormais scanner des systèmes, repérer des identifiants exposés et tenter de les exploiter sans supervision humaine constante. Face à cette menace grandissante, les chercheurs en sécurité explorent différentes pistes défensives, et cette méthode de piégeage par injection de prompt pourrait rapidement être adoptée par d'autres équipes de sécurité, voire intégrée nativement dans les outils de protection cloud, ouvrant la voie à une véritable course aux armements entre attaquants et défenseurs autour du contrôle des agents IA.

💬 Bonne nouvelle pour une fois côté défense: retourner l'injection de prompt contre l'attaquant, en planquant l'instruction d'arrêt à côté des secrets AWS, c'est malin et ça coûte trois fois rien à déployer. Reste que ça marche parce que l'attaquant utilise un agent avec des garde-fous actifs, un assaillant qui bricole son propre LLM sans ces limites passera au travers sans même s'en rendre compte. Le vrai signal ici, c'est que la sécurité cloud entre dans une course aux armements où le prompt lui-même devient un terrain de bataille, pas juste le code ou le réseau.

La protection de la vie privée des données d'entraînement de l'IA

Les modèles de machine learning entraînés sur des données sensibles, dossiers médicaux, historiques de transactions bancaires ou résultats d'essais cliniques, sont exposés à des attaques capables d'extraire des informations confidentielles sur leurs données d'entraînement. Trois scénarios d'attaque escaladent en gravité. D'abord, l'inférence d'appartenance : tout acteur disposant d'un accès en requête à un modèle déployé peut déterminer si un enregistrement précis faisait partie des données d'entraînement. Des chercheurs d'Amazon Web Services l'ont démontré en 2023 à la conférence NeurIPS, exploitant le fait qu'un modèle produit des prédictions à plus haute confiance pour les exemples sur lesquels il a été entraîné. Ensuite vient la reconstruction de données dans les systèmes d'apprentissage fédéré, où plusieurs organisations entraînent un modèle commun sans partager leurs données brutes : un serveur d'agrégation malveillant peut reconstituer les données d'entraînement d'un participant à partir des mises à jour de gradient. Enfin, même un participant honnête peut voir ses données privées exposées via le modèle global partagé. En 2023, une publication de Google DeepMind a montré que GPT-3.5-turbo pouvait, sous certaines requêtes, reproduire mot pour mot des données d'entraînement, y compris des informations personnellement identifiables. Ces risques ont des conséquences légales et éthiques directes pour les organisations qui déploient des modèles sur des données protégées. Une attaque réussie contre un modèle hospitalier pourrait révéler qu'un patient spécifique a été traité dans un établissement donné, violant ainsi le HIPAA aux États-Unis ou le RGPD en Europe. Pour les systèmes d'apprentissage fédéré utilisés par des consortiums hospitaliers ou bancaires, une reconstruction réussie des données d'entraînement annulerait toute la promesse de confidentialité de l'architecture et exposerait les organisations à des violations des accords de consentement des patients. Les modèles spécialisés entraînés sur des jeux de données concentrés et sensibles sont particulièrement vulnérables, précisément parce que leurs données sont moins diversifiées et donc plus faciles à extraire. Face à ces menaces, deux technologies de protection font consensus : la confidentialité différentielle (differential privacy) et le calcul multipartite sécurisé (secure multiparty computation). La première ajoute du bruit mathématique calibré aux gradients ou aux données, rendant statistiquement impossible de déterminer si un enregistrement individuel a participé à l'entraînement, tout en préservant l'utilité statistique du modèle. La seconde permet à plusieurs parties de calculer conjointement un résultat sans qu'aucune n'accède aux données brutes des autres. Ces techniques ne sont plus réservées aux laboratoires académiques : à mesure que les entreprises de santé, de finance et de pharmacie intensifient leur adoption de l'IA sur des données propriétaires, leur déploiement devient une condition incontournable d'un développement responsable et d'une conformité réglementaire durable.

La propre IA de Meta a été détournée pour pirater des comptes Instagram

Le chatbot d'assistance IA de Meta a été exploité par des hackers pour pirater des comptes Instagram, selon une enquête de 404 Media relayée par The Verge. Une vidéo diffusée sur Telegram montre la technique utilisée : un attaquant demandait simplement au chatbot de modifier l'adresse e-mail associée au compte d'une autre personne, puis déclenchait une réinitialisation du mot de passe pour en prendre le contrôle total. Meta affirme que la faille a depuis été corrigée. La découverte est particulièrement embarrassante pour Meta, car elle révèle que son propre outil d'aide aux utilisateurs pouvait être retourné contre eux sans contournement technique complexe. Le chatbot, censé simplifier la gestion des comptes, devenait ainsi une porte d'entrée pour des acteurs malveillants. Le cas le plus visible : le compte @obamawhitehouse sur Instagram, lié à l'administration Obama, a commencé à publier des images de propagande iranienne après avoir été compromis, attirant l'attention de milliers d'abonnés avant d'être repris en main. Cet incident illustre un risque émergent propre à l'intégration de l'IA dans les systèmes d'authentification et de support client : un modèle trop permissif peut être manipulé via des instructions en langage naturel, sans que les garde-fous traditionnels ne s'activent. Des comptes d'institutions américaines, dont celui du chef de l'US Space Force, auraient également été touchés dans la même vague. La faille soulève des questions sur la robustesse des contrôles d'identité dans les interfaces conversationnelles déployées à grande échelle.

Le PDG d'Okta mise sur l'identité des agents IA

Todd McKinnon, co-fondateur et PDG d'Okta, a accordé une interview approfondie au podcast Decoder de The Verge pour expliquer comment il réoriente sa stratégie face à l'essor de l'IA. Okta, valorisée à 14 milliards de dollars, est l'une des principales plateformes de gestion des identités et de la sécurité en entreprise, ce système qui oblige les employés à se reconnecter plusieurs fois par jour avant chaque réunion. Lors du dernier appel aux investisseurs, McKinnon a admis être « paranoïaque » face à ce que l'industrie appelle désormais la « SaaSpocalypse » : la menace que les entreprises construisent elles-mêmes leurs outils grâce au vibe-coding et aux LLMs, plutôt que de payer des abonnements SaaS coûteux à des acteurs comme Okta. L'enjeu est considérable. Si des milliers d'entreprises clientes décident de développer en interne ce qu'Okta leur vend, le modèle économique de tout un pan du secteur logiciel est remis en cause. Mais McKinnon identifie une opportunité stratégique précisément là où la menace est la plus forte : la gestion des identités des agents IA. Là où Okta gérait jusqu'ici les accès des humains, employés, sous-traitants, partenaires, il faut désormais faire de même pour les agents autonomes déployés au sein des organisations. Ces agents accèdent à des données sensibles, exécutent des tâches critiques, et peuvent agir au nom d'un utilisateur avec ses propres identifiants. La question de sécurité est immédiate : que se passe-t-il quand un employé achète un Mac Mini, y transfère ses credentials, et laisse un agent IA faire ce qu'il veut avec eux ? McKinnon propose d'intégrer un « kill switch » au niveau de l'agent, un mécanisme d'interruption d'urgence, mais reconnaît que l'identité d'un agent se situe quelque part entre celle d'une personne et celle d'un système informatique classique, un espace conceptuel encore largement à définir. Le contexte est celui d'une mutation structurelle de l'industrie logicielle. L'émergence d'outils comme OpenClaw, une plateforme d'agents IA qui s'est accompagnée de nombreuses failles de sécurité, illustre l'urgence du problème. Les entreprises commencent à déployer des équipes hybrides, mélangeant salariés humains et agents autonomes, sans cadre clair pour gouverner les droits d'accès de ces derniers. Okta, qui a construit sa position dominante sur la gestion des identités humaines, ambitionne de devenir la référence pour cette nouvelle couche d'identité machine. McKinnon mise sur cette transition pour transformer la menace existentielle de la SaaSpocalypse en avantage compétitif, à condition de se réinventer assez vite.