Attaquée par un agent IA autonome, Hugging Face a analysé les traces avec un LLM local

« Les garde-fous de sécurité ont bloqué les défenseurs de Hugging Face, pas l'attaquant, lors du piratage de ses systèmes par un agent IA »

Fin de semaine dernière, Hugging Face a découvert qu'un agent d'intelligence artificielle autonome avait compromis son infrastructure de production, avec des conséquences aggravées par le fait que les modèles d'IA censés aider l'équipe de sécurité à enquêter ont refusé de traiter les preuves de l'attaque. L'entreprise a révélé le 16 juillet qu'un système agentique autonome, fonctionnant sans intervention humaine du début à la fin, avait obtenu un accès non autorisé à un ensemble limité de jeux de données internes ainsi qu'à plusieurs identifiants de service. Le point d'entrée était un jeu de données malveillant : une fois ingéré par le pipeline de traitement de données de Hugging Face, il a déclenché une exécution de code par deux voies distinctes, un chargeur de code à distance et une faille d'injection de gabarit dans les fichiers de configuration. Aucune barrière de contrôle ne filtrait le fichier avant qu'il n'atteigne le poste de calcul chargé de le traiter. Depuis ce premier point d'appui, l'agent est sorti de l'environnement isolé du poste de travail, a récupéré des identifiants cloud et de cluster à large portée, et s'est déplacé latéralement à travers l'infrastructure pendant tout un week-end, sans être détecté ni stoppé. Hugging Face a décrit un cadre agentique exécutant des milliers d'actions individuelles via un essaim de bacs à sable éphémères, avec un système de commande et de contrôle capable de migrer lui-même vers des services publics ; l'entreprise a assuré que sa chaîne logistique logicielle restait intacte, sans trace d'altération de ses modèles, jeux de données ou Spaces publics, tout en poursuivant son évaluation d'un éventuel impact sur des données de partenaires ou clients. L'épisode expose une faille opérationnelle largement sous-estimée dans les dispositifs de cybersécurité qui reposent sur l'IA : les mêmes garde-fous conçus pour empêcher les attaquants d'exploiter les modèles bloquent aussi les défenseurs qui tentent d'analyser une intrusion réelle. Lorsque l'équipe de réponse aux incidents de Hugging Face a soumis des commandes shell, des charges utiles d'exploitation et des artefacts de commande et contrôle authentiques à des modèles frontières via des API commerciales, les systèmes de sécurité ont catégoriquement refusé de les traiter, incapables de distinguer un enquêteur légitime d'un auteur de malware. Merritt Baer, conseillère senior chez Andesite, G2I et AppOmni et ancienne directrice adjointe de la sécurité chez AWS, souligne que ce problème dépasse largement le cas Hugging Face : les modèles commerciaux n'ont aucun moyen cryptographique ou organisationnel de vérifier l'intention derrière une requête d'analyse. Pour les équipes de sécurité d'entreprise qui intègrent de plus en plus l'IA dans leurs opérations, cela transforme un simple choix de politique de modèle en un véritable enjeu de résilience opérationnelle, capable de retarder une investigation critique au moment où chaque heure compte. Cet incident illustre aussi une angle mort commun aux équipes de sécurité : les données qui alimentent les pipelines sont généralement traitées comme des entrées de confiance plutôt que comme une surface d'attaque à part entière, ce qui a permis à ce jeu de données piégé de passer inaperçu. Le fait que le cadre attaquant semble avoir été construit à partir d'un outil de recherche en sécurité agentique, normalement destiné aux exercices d'équipe rouge, ajoute une dimension préoccupante : des outils conçus pour tester la sécurité peuvent être détournés pour mener une intrusion réelle. Faute de pouvoir s'appuyer sur les modèles frontières commerciaux, les enquêteurs de Hugging Face ont dû reconstituer plus de 17 000 événements à l'aide de leurs propres agents d'analyse pilotés par IA, l'analyse forensique aboutissant finalement grâce à un autre modèle, GLM. À mesure que les agents autonomes gagnent en autonomie et en capacité d'action sur les infrastructures critiques, cet épisode pourrait pousser les fournisseurs de modèles et les équipes de sécurité à repenser conjointement la manière de distinguer, en temps réel, une requête défensive légitime d'une tentative malveillante.

Hugging Face affirme qu'un agent IA a piraté son infrastructure, et qu'elle a riposté avec l'IA

Hugging Face a annoncé avoir détecté une attaque visant une partie de son infrastructure de production, menée selon l'entreprise entièrement par un système d'agent IA autonome. L'offensive s'est déroulée en plusieurs milliers d'actions automatisées, orchestrées par un framework d'agent capable d'enchaîner des étapes de reconnaissance, d'exploitation et de progression dans les systèmes sans intervention humaine directe. Fait notable relevé par les équipes de sécurité de Hugging Face : lors de l'analyse forensique de l'incident, les modèles d'IA commerciaux utilisés pour aider à l'investigation ont paradoxalement compliqué la tâche des défenseurs. Leurs garde fous de sécurité, conçus pour bloquer les contenus dangereux, ne parvenaient pas à distinguer les données d'exploitation légitimement analysées des véritables tentatives d'attaque, freinant ainsi le travail des enquêteurs plutôt que de le faciliter. Cet épisode illustre un tournant préoccupant pour la cybersécurité : des agents IA autonomes capables de mener des campagnes d'intrusion à grande échelle, avec une rapidité et un volume d'actions qu'aucune équipe humaine ne pourrait égaler. Pour les entreprises hébergeant des infrastructures sensibles, notamment les plateformes d'IA elles mêmes, cela signifie repenser les outils de détection et de réponse, désormais confrontés à des attaquants eux aussi assistés par l'IA. Hugging Face, plateforme incontournable pour l'hébergement de modèles et de jeux de données open source, est une cible de choix compte tenu du volume de code et de secrets qui y transitent. L'incident relance le débat sur la course entre IA offensive et défensive, et sur la nécessité d'adapter les outils de sécurité commerciaux, aujourd'hui mal calibrés pour ce nouveau type de menace automatisée.

KiloClaw cible l'IA fantôme avec une gouvernance d'agents autonomes

KiloClaw, une plateforme de gouvernance des agents IA développée par l'éditeur logiciel Kilo, vient d'être lancée sous la dénomination KiloClaw for Organizations. Elle cible un phénomène croissant dans les grandes entreprises : le "Bring Your Own AI" (BYOAI), où des employés déploient des agents autonomes sur leurs propres infrastructures sans passer par la DSI. Des ingénieurs qui automatisent l'analyse de logs d'erreurs, des analystes financiers qui orchestrent des scripts locaux pour réconcilier des tableurs — ces agents accèdent aux canaux Slack, aux tableaux Jira et aux dépôts de code privés via des clés API personnelles, totalement hors du contrôle officiel. KiloClaw propose un plan de contrôle centralisé permettant aux équipes de sécurité d'identifier, surveiller et restreindre ces agents sans bloquer leur utilité opérationnelle. L'enjeu dépasse la simple conformité interne. Un agent autonome non supervisé dispose de privilèges d'exécution actifs : il lit, écrit, modifie et supprime des données à des vitesses inaccessibles à l'humain, et envoie souvent des données d'entreprise vers des serveurs d'inférence tiers pour traiter ses requêtes. Si ces fournisseurs utilisent les données ingérées pour entraîner leurs modèles, l'entreprise perd le contrôle de sa propriété intellectuelle. KiloClaw répond à cette menace en émettant des jetons d'accès à durée limitée et à portée étroitement définie, plutôt que de laisser les développeurs brancher des clés API permanentes sur des modèles expérimentaux. Si un agent conçu pour résumer des emails tente de télécharger une base clients, la plateforme détecte la violation de périmètre et révoque immédiatement l'accès. La situation rappelle l'ère "Bring Your Own Device" du début des années 2010, quand les smartphones personnels ont forcé les DSI à adopter des solutions de gestion de terminaux mobiles — mais avec des risques bien plus élevés. Les systèmes classiques de gestion des identités et des accès (IAM) sont conçus pour des humains ou des communications applicatives statiques, pas pour des agents qui chaînent des tâches dynamiquement et formulent de nouvelles requêtes en cours d'exécution. KiloClaw traite les agents comme des entités distinctes nécessitant des permissions restrictives et temporaires. L'approche évite aussi l'écueil d'une interdiction totale, qui pousse généralement les développeurs à dissimuler leurs workflows. En construisant un environnement sanctionné plutôt qu'une liste noire, Kilo parie sur l'adoption volontaire comme levier de conformité réelle.

Hugging Face a hébergé un logiciel malveillant se faisant passer pour une version d'OpenAI

Un dépôt frauduleux hébergé sur Hugging Face, se faisant passer pour une version officielle d'OpenAI, a diffusé un logiciel malveillant de type infostealer sur des machines Windows avant d'être retiré de la plateforme. Selon une analyse publiée par la société de sécurité IA HiddenLayer, le dépôt baptisé "Open-OSS/privacy-filter" imitait fidèlement la page du projet OpenAI Privacy Filter : le fichier README avait été copié presque à l'identique, et les attaquants avaient intégré un fichier loader.py contenant un mécanisme d'infection dissimulé derrière du code d'apparence légitime. Ce fichier désactivait la vérification SSL, décodait une URL encodée en base64 pointant vers jsonkeeper.com, puis transmettait des instructions à PowerShell sur les machines Windows. Un fichier batch supplémentaire était ensuite téléchargé depuis un domaine contrôlé par les attaquants, et le malware s'installait en créant une tâche planifiée imitant une mise à jour légitime de Microsoft Edge. La charge finale était un infostealer écrit en Rust ciblant les navigateurs dérivés de Chromium et Firefox, Discord, les portefeuilles de cryptomonnaies, les configurations FileZilla et les informations système, tout en cherchant à désactiver l'interface Windows Antimalware Scan Interface. Le dépôt aurait enregistré environ 244 000 téléchargements et atteint la liste des projets "trending" sur Hugging Face avec 667 likes en moins de 18 heures, mais ces chiffres pourraient avoir été artificiellement gonflés par les attaquants. L'incident illustre un risque croissant dans la chaîne d'approvisionnement logicielle des équipes d'IA. Les développeurs et data scientists clonent régulièrement des modèles directement dans des environnements d'entreprise ayant accès au code source, aux identifiants cloud et aux systèmes internes, ce qui transforme un dépôt compromis en vecteur d'intrusion à fort impact. L'utilisation de jsonkeeper.com comme canal de commande et contrôle permettait aux attaquants de modifier le contenu malveillant sans toucher au dépôt lui-même, rendant la détection encore plus difficile. Sakshi Grover, directrice de recherche senior en cybersécurité chez IDC, rappelle que les outils d'analyse de composition logicielle traditionnels ont été conçus pour inspecter les manifestes de dépendances, les bibliothèques et les images de conteneurs, et restent peu adaptés pour identifier une logique de chargement malveillante nichée dans des dépôts d'IA. Cet incident s'inscrit dans une série d'avertissements récents concernant les registres publics de modèles d'IA. Des chercheurs avaient déjà signalé des modèles dissimulant du code malveillant dans des fichiers Pickle sérialisés, contournant les scanners de la plateforme. HiddenLayer a également identifié six autres dépôts Hugging Face utilisant une logique de chargement quasi identique et partageant la même infrastructure que l'attaque principale. La tendance de fond est claire : les attaquants considèrent désormais les workflows de développement IA comme une porte d'entrée vers des environnements normalement sécurisés, en exploitant non pas les modèles eux-mêmes, mais leurs éléments périphériques comme les scripts de configuration, les notebooks et les fichiers de dépendances. En réponse, IDC préconise dans son rapport FutureScape de novembre 2025 que 60 % des systèmes d'IA agentique disposent d'un inventaire exhaustif de leurs composants d'ici 2027, permettant aux entreprises de tracer l'origine, la version approuvée et les éléments exécutables de chaque artefact IA utilisé.

💬 C'est le genre d'attaque qu'on voyait venir depuis longtemps. Les devs IA ont pris l'habitude de cloner des dépôts entiers directement dans leurs envs de boîte, avec les accès cloud et les tokens qui vont avec, et c'est exactement ça que les attaquants ont ciblé, pas le modèle, le script Python autour. Hugging Face doit assumer son rôle de registre de confiance, pas juste de plateforme de partage.