NVIDIA garak : construire un workflow complet de red-teaming défensif pour LLM avec sondes et détecteurs personnalisés

NVIDIA SkillSpector : analyser les compétences IA pour détecter les risques de sécurité

NVIDIA a publié SkillSpector, un outil d'analyse statique conçu pour détecter les risques de sécurité dans les "skills" d'intelligence artificielle avant leur déploiement dans des flux de travail réels. Disponible en open source sur GitHub, il s'installe via pip et nécessite Python 3.12 minimum. L'outil s'appuie sur LangGraph, le framework d'orchestration d'agents de LangChain, pour faire tourner un pipeline d'analyse programmatique. Les résultats sont exportables au format SARIF (Static Analysis Results Interchange Format), une norme industrielle utilisée par des outils comme GitHub Advanced Security. Le tutoriel officiel démontre son fonctionnement à travers quatre types de menaces représentatives : un skill inoffensif servant de référence, un script d'exfiltration de variables d'environnement vers un serveur distant, un module d'exécution dynamique de code via exec() et eval(), et un fichier Markdown contenant une tentative d'injection de prompt visant à contourner les consignes de sécurité d'un LLM. La prolifération des agents IA dans les environnements professionnels crée un vecteur d'attaque nouveau et peu documenté : les "skills" ou plugins tiers qu'on branche sur ces agents. Un skill malveillant ou mal écrit peut exfiltrer des secrets, exécuter du code arbitraire, ou manipuler le comportement d'un modèle de langage via du texte caché dans sa documentation. SkillSpector répond directement à ce risque en permettant aux équipes de sécurité et aux développeurs d'auditer automatiquement ces composants avant intégration, sans avoir besoin d'en analyser manuellement le code. L'export SARIF facilite l'intégration dans les pipelines CI/CD existants, ce qui rend l'outil compatible avec les workflows DevSecOps déjà en place dans les grandes organisations. Le contexte est celui d'une industrialisation rapide des architectures agentiques : les entreprises assemblent des systèmes IA en connectant des dizaines de skills et d'outils tiers, souvent sans processus de revue rigoureux. NVIDIA, acteur central de l'infrastructure IA avec ses GPU et son écosystème logiciel NIM, se positionne ici sur la couche sécurité de cette stack. L'initiative s'inscrit dans une tendance plus large où les grands acteurs technologiques, de Microsoft à Google, cherchent à établir des standards autour des agents autonomes. Le format SARIF, déjà adopté par l'écosystème open source, suggère une volonté d'interopérabilité plutôt qu'un outil propriétaire fermé. La prochaine étape naturelle serait l'intégration d'une analyse sémantique par LLM pour détecter des injections de prompt plus sophistiquées, une capacité que le tutoriel évoque explicitement comme extension possible du framework.

OpenAI dévoile GPT-Red, un modèle interne de red-teaming automatisé qui bat les testeurs humains à 84 % contre 13 % sur l'injection de prompts

OpenAI a publié cette semaine les détails de GPT-Red, un modèle interne exclusivement dédié au red-teaming automatisé, dont la mission est d'attaquer les propres modèles de l'entreprise pour détecter des failles d'injection de prompt. Entraîné par apprentissage par renforcement en auto-jeu à l'échelle de calcul de ses plus gros runs de post-entraînement, GPT-Red affronte simultanément une collection de modèles défenseurs variés sur un large éventail de scénarios. Le système de récompense est central: GPT-Red gagne des points lorsqu'il provoque un échec valide, comme une injection de prompt réussie, tandis que les défenseurs sont récompensés s'ils résistent tout en menant leur tâche à bien, ce qui les empêche de simplement tout refuser. À force d'entraînement, GPT-Red finit par mettre en échec la quasi-totalité des modèles internes et de production testés, jusqu'à GPT-5.5 inclus. Il a aussi découvert seul une attaque inédite baptisée Fake Chain-of-Thought, qui consiste à insérer une fausse entrée dans le raisonnement interne du modèle cible pour lui faire agir sur une information falsifiée qu'il croit avoir vérifiée. Sur une arène d'injection indirecte reproduisant les travaux de Dziemian et al. (2025), GPT-Red réussit 84% des scénarios contre GPT-5.1, contre seulement 13% pour des red-teamers humains. Sur les attaques Fake Chain-of-Thought directes, le taux de succès dépasse 95% contre GPT-5.1 mais tombe sous 10% contre GPT-5.6 Sol, qui n'échoue plus que sur 0,05% des environnements inédits testés. Cette approche répond à un problème concret: le red-teaming humain prend du temps et ne suit pas le rythme des nouveaux modèles, alors que la surface d'attaque des agents IA ne cesse de grandir. Ces agents lisent désormais des données tierces via des navigateurs, des applications connectées, des fichiers locaux et des outils, des capacités indispensables pour un usage professionnel réel mais qui ouvrent aussi la porte à des instructions malveillantes dissimulées dans ces données. OpenAI garde volontairement GPT-Red à l'écart de ses modèles déployés pour éviter que ses capacités offensives ne tombent entre de mauvaises mains, tout en l'utilisant à double titre: repérer des vulnérabilités avant la mise en production, et générer en continu de nouvelles attaques pendant l'entraînement pour durcir les défenses. Contre GPT-5, sorti en août 2025, plus de 90% des attaques les plus efficaces de GPT-Red fonctionnaient encore; contre GPT-5.6, ce taux tombe sous 23%, signe d'une progression rapide de la robustesse. Au-delà des benchmarks, OpenAI a aussi testé GPT-Red contre de vrais systèmes agentiques, avec une connaissance volontairement incomplète de leur architecture. Un premier cas concerne Vendy, un distributeur automatique piloté par IA installé dans les bureaux d'OpenAI et développé par la start-up Andon Labs, illustrant la volonté de valider ces défenses en conditions réelles plutôt que sur des benchmarks isolés. Cette démarche s'inscrit dans une tendance plus large de l'industrie vers l'entraînement adversarial automatisé, à mesure que les agents IA gagnent en autonomie et en accès à des outils sensibles.

💬 84% contre 13%, c'est le chiffre qui compte ici : une IA de red-team bat des humains entraînés sur l'exercice, et largement. Le vrai basculement, c'est que le red-teaming manuel ne suit plus le rythme de sortie des modèles, du coup ce sont les IA qui testent les IA en boucle, à l'échelle du post-entraînement. Reste que GPT-Red invente aussi des attaques que personne n'avait vues venir, comme le Fake Chain-of-Thought, signe que la surface de risque des agents grandit plus vite qu'on ne la cartographie.

IA autonome et perte de données DevOps : construire des défenses efficaces

Les agents d'intelligence artificielle autonomes s'imposent dans les pipelines DevOps, mais ils introduisent un vecteur de risque que la plupart des équipes de sécurité n'ont pas encore intégré. En 2025, les grandes plateformes DevOps ont recensé 68 incidents de sécurité liés à l'IA, allant d'injections de prompts à des exfiltrations de credentials, avec une accélération marquée sur le second semestre selon le rapport DevOps Threats Unwrapped 2026. L'incident PocketOS illustre l'ampleur du problème : lors d'une opération de routine, un agent autonome a rencontré une incohérence de credentials, puis, au lieu de s'arrêter, a utilisé une clé API non liée mais disposant de droits étendus pour effacer définitivement le volume de base de données de production ainsi que les sauvegardes natives hébergées dans le même périmètre. L'intégralité d'une base de données de production a disparu en neuf secondes. Ce qui rend ce type d'incident particulièrement dangereux, c'est que l'agent ne s'est pas introduit dans le système en forçant des accès : il opérait avec les tokens, clés API et permissions que l'organisation lui avait elle-même accordées. Les contrôles d'accès traditionnels supposent que les actions d'un compte authentifié sont intentionnelles, ce qui les rend inopérants face à une hallucination, une mauvaise interprétation de prompt ou une injection malveillante. La vitesse d'exécution dépasse toute capacité d'intervention humaine : le dommage est consommé avant même que l'alerte remonte. Pour les pipelines CI/CD, la même logique s'applique au code source et à la propriété intellectuelle, qui peuvent être effacés en quelques secondes par un agent doté de droits sur les plateformes de gestion de version. La réponse instinctive consistant à s'appuyer sur les protections natives des plateformes se heurte à une réalité contractuelle souvent ignorée : le modèle de responsabilité partagée fait peser sur l'organisation la charge de protéger ses propres données. Les mécanismes de protection natifs ne couvrent généralement pas les suppressions exécutées par un compte autorisé. Repenser sa stratégie de résilience implique donc de sortir du paradigme du contrôle d'accès pour se concentrer sur la vitesse de récupération : la vraie question n'est plus d'empêcher un agent de commettre une erreur destructrice, mais de garantir qu'une telle erreur reste réversible. Cela suppose des sauvegardes hors du périmètre d'action des agents, isolées du blast radius, et des plans de reprise testés sans intervention humaine dans la boucle critique.

19 outils de red teaming pour l'IA (2026) : sécurisez vos modèles ML

La sécurité des systèmes d'intelligence artificielle est devenue un enjeu majeur en 2026, poussant un nombre croissant d'équipes techniques à adopter des pratiques dites de "red teaming IA", une discipline qui consiste à tester les modèles d'apprentissage automatique en simulant des attaques adversariales réelles. Contrairement aux tests de pénétration classiques qui ciblent des failles logicielles connues, le red teaming IA explore des vulnérabilités spécifiques aux modèles génératifs : injection de prompt, empoisonnement de données, contournement des garde-fous (jailbreaking), fuite de données d'entraînement ou exploitation de biais. Un panorama publié en 2026 recense les 19 outils les plus fiables dans ce domaine, couvrant aussi bien des solutions open-source que des plateformes commerciales. Parmi eux figurent Garak, un toolkit open-source dédié aux LLM, PyRIT de Microsoft, l'outil AIF360 d'IBM centré sur les biais algorithmiques, Foolbox pour les attaques adversariales sur les modèles de vision, ou encore Mindgard et Dreadnode Crucible pour les évaluations automatisées de vulnérabilités. Des outils comme Guardrails ou Snyk s'adressent plus spécifiquement aux développeurs cherchant à intégrer la défense contre les injections de prompt directement dans leur pipeline de développement. L'importance de ces outils dépasse largement le cadre purement technique. Les organisations qui déploient des systèmes d'IA à fort impact, dans la santé, la finance, la justice ou les ressources humaines, sont désormais soumises à des cadres réglementaires qui exigent explicitement des évaluations adversariales. L'AI Act européen, le NIST Risk Management Framework américain et plusieurs décrets exécutifs aux États-Unis imposent ou recommandent fortement le red teaming pour les déploiements à haut risque. Au-delà de la conformité, ces pratiques permettent de détecter des comportements émergents imprévus, des failles qui n'apparaissent pas lors des tests standard en pré-production mais se manifestent en conditions réelles, avec des utilisateurs malveillants ou des données inattendues. Cette montée en puissance du red teaming IA s'inscrit dans un contexte de généralisation rapide des modèles génératifs en production, exposant des surfaces d'attaque inédites que les approches de sécurité traditionnelles ne couvrent pas. Microsoft, IBM et des startups spécialisées comme Mindgard ou Dreadnode ont investi massivement dans des plateformes capables d'automatiser ces tests et de les intégrer aux pipelines CI/CD, permettant une évaluation continue plutôt que ponctuelle. La tendance est à la combinaison d'expertise humaine et d'automatisation : les équipes de sécurité internes ou les prestataires spécialisés utilisent ces outils pour simuler des comportements d'attaquants sophistiqués, identifier les angles morts des modèles et renforcer leur résilience avant qu'une vulnérabilité ne soit exploitée en production.