Un chercheur insère 2 millions de leurres dans la chaîne d'approvisionnement de l'IA et révèle une faille majeure de confidentialité
Le chercheur en sécurité HD Moore a disséminé 2 millions de « canaris » numériques dans des requêtes envoyées à travers un vaste réseau de services d'intelligence artificielle, afin de savoir ce que devenaient les informations sensibles qui leur étaient confiées. Son constat est sévère : cet écosystème laisse fuir des données très sensibles comme une passoire. L'expérience visait à déterminer si des informations peuvent s'échapper tout au long de la chaîne de services d'IA largement utilisés, et comment elles sont exploitées le cas échéant. Moore a rassemblé des clés d'accès Amazon Web Services liées à des comptes vides mais fonctionnels, des mots de passe pour des services comme SSH, ainsi que des URL uniques, des noms DNS et des références à des dépôts git privés. Aucun de ces secrets n'avait jamais servi, et il contrôlait l'infrastructure recevant toute requête qui les utiliserait. Chacun a été inséré dans un seul prompt, envoyé à un seul fournisseur.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de Ars Technica AI. Lire l'article original →
L'enjeu concerne directement les nombreux développeurs et entreprises dont les applications d'IA reposent sur des intermédiaires. Ces « routeurs d'IA », aussi appelés « passerelles d'IA », comme OpenRouter ou Vercel, reçoivent d'importants volumes de prompts émis par les utilisateurs finaux et les dirigent vers un moteur d'inférence disponible, selon des critères tels que le prix le plus bas ou l'adéquation à la tâche. Le développeur ne s'adresse donc plus directement à Anthropic, OpenAI ou un autre grand fournisseur, mais confie le choix du modèle à un tiers. Or les résultats décrits évoquent des violations de sécurité, des vols de prompts et des atteintes à la vie privée. Mots de passe, clés d'accès et dépôts de code glissés dans des requêtes ordinaires peuvent ainsi se retrouver entre des mains que ni l'utilisateur ni le développeur n'avaient prévues, avec des risques concrets de compromission d'infrastructures.
Le dispositif s'inspire des canaris des mines de charbon, ces oiseaux qui signalaient le danger avant les mineurs. Comme chaque secret n'a été injecté que dans une requête adressée à un seul fournisseur, toute utilisation ultérieure d'un identifiant permet de remonter au maillon précis de la chaîne qui l'a laissé fuir. Cette méthode s'inscrit dans un contexte où les routeurs se sont multipliés pour répondre à la fragmentation du marché des modèles, au prix d'une chaîne d'approvisionnement de l'IA plus longue et plus opaque, où chaque intermédiaire peut journaliser, revendre ou laisser exposer les données qui transitent. Cette expérience pose la question de la transparence et des garanties que doivent offrir ces acteurs, et pourrait pousser les entreprises à mieux filtrer les secrets avant envoi ou à auditer leurs prestataires.
Les entreprises et développeurs européens qui font transiter des données sensibles par des routeurs d'IA s'exposent à des fuites de secrets et à des questions de conformité au RGPD.