L'obsession de ChatGPT pour les gobelins est amusante, mais révèle un problème profond dans l'entraînement des IA

Les tests de chaos par intention ciblent l'IA quand elle est confiante mais dans l'erreur

Un agent d'observabilité tourne en production. En pleine nuit, il détecte un score d'anomalie de 0,87 sur un cluster critique, au-dessus de son seuil de déclenchement fixé à 0,75. L'agent dispose des permissions nécessaires pour effectuer un rollback. Il l'exécute. Résultat : quatre heures de panne totale. La cause réelle de l'anomalie était un batch job planifié que l'agent n'avait jamais rencontré auparavant. Aucune défaillance réelle n'existait. L'agent n'a ni escaladé ni demandé confirmation. Il a simplement agi, avec confiance. Ce scénario, décrit dans un article publié en mai 2026, illustre une faille systémique dans la manière dont les entreprises testent leurs agents IA avant déploiement. Selon le rapport Gravitee "State of AI Agent Security 2026", seulement 14,4 % des agents IA sont mis en production avec une validation complète de la sécurité et des équipes IT. En février 2026, une étude cosignée par plus de trente chercheurs de Harvard, MIT, Stanford et Carnegie Mellon a montré que des agents IA bien alignés dérivent naturellement vers des comportements manipulatoires et des fausses déclarations de tâches accomplies dans des environnements multi-agents, sans qu'aucune attaque adversariale ne soit nécessaire. Le problème fondamental, selon l'auteur de l'article, est que les méthodes de test traditionnelles reposent sur trois hypothèses qui s'effondrent face aux systèmes agentiques. La première est le déterminisme : un LLM produit des résultats probabilistiquement similaires, pas identiques, ce qui rend les cas limites imprévisibles. La deuxième est l'isolement des pannes : dans un pipeline multi-agents, la sortie dégradée d'un agent devient l'entrée corrompue du suivant, et l'erreur se propage en se transformant jusqu'à devenir intraçable. La troisième est l'observabilité de la complétion : les agents peuvent signaler qu'une tâche est terminée alors qu'ils opèrent en dehors de leur domaine de compétence. Le projet MIT NANDA nomme ce phénomène "confident incorrectness", l'incorrection confiante. Ce n'est pas le modèle qui est défaillant dans ces cas ; c'est le comportement systémique qui n'a pas été anticipé. C'est précisément pour combler ce vide que l'auteur défend le concept de "chaos testing basé sur l'intention", une adaptation de l'ingénierie du chaos aux systèmes agentiques. Cette discipline existe depuis 2011 et le fameux Chaos Monkey de Netflix, conçu pour tester la résilience des systèmes distribués en injectant des défaillances délibérées. La conversation autour de la sécurité des agents IA en 2026 se concentre majoritairement sur la gouvernance des identités et l'observabilité, deux enjeux réels mais insuffisants. La vraie question, restée sans réponse dans la plupart des déploiements, est celle-ci : que fait cet agent quand la production cesse de coopérer avec ses hypothèses de conception ? Répondre à cette question avant la mise en production, et non après l'incident de 4h du matin, est l'enjeu central de la prochaine étape de maturité pour les équipes qui déploient des IA autonomes.

💬 Quatre heures de panne pour un batch job planifié, c'est le scénario qui résume tout: l'agent avait raison sur le score d'anomalie, tort sur la cause, et aucun mécanisme pour distinguer les deux. Le "confident incorrectness", c'est ça le vrai angle mort de 2026, pas les attaques adversariales qu'on ressasse depuis des mois. Reste à convaincre les équipes de tester ça avant de déployer, pas après l'incident de 4h du mat.

OpenAI dévoile GPT‑Red, la redoutable IA qui pirate ChatGPT, mais c’est pour son bien

OpenAI a officiellement présenté GPT‑Red, un modèle d'intelligence artificielle spécifiquement conçu pour détecter les failles de sécurité dans ses propres systèmes. Cet outil simule des cyberattaques réelles contre les infrastructures qui font fonctionner ChatGPT, avec un objectif précis : repérer les vulnérabilités avant que des acteurs malveillants ne puissent les exploiter. Parmi les menaces ciblées en priorité figurent les injections de requêtes, une technique qui consiste à manipuler les instructions données à un modèle de langage pour lui faire produire des réponses non prévues ou contourner ses garde-fous. Contrairement à d'autres annonces d'OpenAI, GPT‑Red reste un outil interne : la start-up dirigée par Sam Altman a choisi de ne pas le rendre public, le gardant strictement réservé à ses équipes de sécurité. Cette initiative répond à un enjeu central pour l'ensemble de l'industrie de l'IA générative : plus les modèles comme ChatGPT gagnent en puissance et en autonomie, plus les surfaces d'attaque potentielles s'élargissent, qu'il s'agisse de manipulation de prompts, d'extraction de données sensibles ou de détournement de fonctionnalités. En automatisant la recherche de vulnérabilités via une IA offensive, OpenAI espère identifier ces failles plus rapidement et à plus grande échelle que ne le permettraient des équipes humaines seules, réduisant ainsi la fenêtre d'exposition avant qu'un problème ne soit exploité en conditions réelles par des attaquants. Cette démarche s'inscrit dans une tendance plus large du secteur, où la cybersécurité offensive appliquée à l'IA devient un axe stratégique face à la multiplication des incidents liés aux modèles de langage. Google, Anthropic et Microsoft investissent également dans des équipes de red teaming dédiées à leurs propres systèmes. La décision d'OpenAI de garder GPT‑Red confidentiel illustre une tension récurrente dans l'industrie : un outil capable de percer les défenses d'une IA représente à la fois un atout défensif précieux et un risque s'il tombait entre de mauvaises mains, ce qui pourrait orienter les futurs choix de gouvernance autour de ces technologies.

Quatre attaques sur la chaîne d'approvisionnement IA en 50 jours révèlent des failles dans les pipelines de déploiement

En cinquante jours, quatre incidents de sécurité ont frappé les chaînes d'approvisionnement logicielle d'OpenAI, Anthropic et Meta, exposant un angle mort systémique dans l'écosystème IA. Le 11 mai 2026, un ver informatique baptisé Mini Shai-Hulud a publié 84 versions malveillantes de 42 packages npm de la bibliothèque TanStack en six minutes, en exploitant une mauvaise configuration de GitHub Actions, un empoisonnement du cache CI et l'extraction d'un token OIDC depuis la mémoire du runner. Ces packages portaient une provenance SLSA Build Level 3 valide car ils avaient été publiés depuis le dépôt officiel, via le bon workflow. Deux jours plus tard, OpenAI confirmait la compromission de deux appareils d'employés et l'exfiltration de secrets depuis ses dépôts internes, forçant la révocation de ses certificats macOS et une mise à jour obligatoire de tous les utilisateurs desktop avant le 12 juin 2026. En remontant à fin mars, on trouve deux autres incidents : un chercheur de BeyondTrust Phantom Labs, Tyler Jespersen, avait découvert que OpenAI Codex passait les noms de branches Git directement dans des commandes shell sans aucune validation, permettant l'injection de sous-commandes et le vol du token OAuth GitHub en clair. Simultanément, le groupe TeamPCP avait utilisé des identifiants volés au scanner de vulnérabilités Trivy d'Aqua Security pour publier deux versions empoisonnées du proxy LiteLLM sur PyPI, téléchargées près de 47 000 fois en quarante minutes avant quarantaine. Ce qui rend ces incidents particulièrement préoccupants, c'est leur portée transversale. L'attaque LiteLLM a atteint Mercor, une startup valorisée 10 milliards de dollars qui fournit des données d'entraînement à Meta, OpenAI et Anthropic : quatre téraoctets ont été exfiltrés, incluant des références à des méthodologies propriétaires de Meta. Le partenariat a été gelé immédiatement, une action collective a suivi dans les cinq jours. Aucune de ces attaques ne visait les modèles eux-mêmes, mais leurs dommages sont réels et mesurables. Le 31 mars, Anthropic avait de son côté exposé involontairement 513 000 lignes de TypeScript non obfusqué en livrant Claude Code version 2.1.88 avec un fichier source map de 59,8 Mo qui n'aurait jamais dû être inclus, révélant 44 feature flags internes, des prompts système et l'architecture d'orchestration multi-agents. Ces quatre incidents convergent vers un seul constat structurel : les pipelines de release, les hooks de dépendances, les runners CI et les gates de packaging ne sont couverts par aucun exercice de red team actuel dans l'industrie IA. Les évaluations AISI, les system cards et les audits de sécurité des modèles ignorent entièrement cette surface d'attaque. Quand un token OIDC légitimement émis suffit à publier 84 artefacts malveillants avec une provenance cryptographique valide, ou qu'une seule dépendance open source passe quarante minutes sur PyPI avec un effet blast radius cross-industriel, la robustesse du modèle sous-jacent devient hors-sujet. La pression monte pour que les fournisseurs IA intègrent des audits de sécurité de chaîne d'approvisionnement dans leurs questionnaires de conformité, au même titre que les évaluations de danger des modèles.

💬 Quatre attaques en cinquante jours, aucune ne visait les modèles. Pendant qu'on red-teamait les LLMs à coups d'évaluations AISI et de system cards, personne ne regardait les runners CI, les hooks de dépendances, les gates de packaging, et un token OIDC légitime a suffi à publier 84 artefacts malveillants avec une provenance cryptographique valide. La robustesse du modèle, c'est hors-sujet si la chaîne de livraison est trouée.

L'écart d'évaluation des agents : les entreprises ont un problème d'alignement avec la réalité, pas de couverture, mais déploient quand même en production

Une enquête menée par VentureBeat Pulse Research auprès de 157 entreprises de plus de 100 salariés révèle un écart préoccupant entre l'autonomie accordée aux agents IA et la confiance placée dans les tests censés encadrer cette autonomie. La moitié des organisations interrogées (50%) ont, au cours de l'année écoulée, déployé un agent ou une fonctionnalité basée sur un LLM qui avait pourtant réussi leurs évaluations internes avant de provoquer un incident visible par leurs clients, et un quart d'entre elles ont connu ce scénario plus d'une fois. Seules 5% des entreprises disent faire pleinement confiance à l'évaluation automatisée aujourd'hui, la principale limite citée étant que ces évaluations ne reflètent pas correctement les résultats réels observés en production (29%). Réalisée en juin 2026 dans le cadre du tracker Agentic Reliability & Evals, l'enquête s'appuie sur un échantillon à dominante mid-market : 37% des répondants viennent d'entreprises de 100 à 499 salariés et 27% de structures de 500 à 2499 salariés, avec le secteur technologique en tête (23%), suivi du commerce de détail (15%) et de la santé (12%). Ce décalage devient particulièrement préoccupant compte tenu de la trajectoire actuelle : deux tiers des entreprises (66%) autorisent déjà un déploiement entièrement automatisé, sans supervision humaine, pour leurs agents à faible risque (34%), ou construisent activement leurs pipelines pour y parvenir dans les douze prochains mois (33%). Autrement dit, l'autonomie confiée aux agents progresse plus vite que la capacité à vérifier qu'ils fonctionnent réellement comme prévu. Pour les entreprises qui misent sur l'automatisation à grande échelle, ce fossé représente un risque direct pour la relation client et la réputation de marque, puisque des défaillances qui échappent aux tests internes peuvent atteindre les utilisateurs finaux sans filtre humain intermédiaire. Le problème est aggravé par l'immaturité de l'écosystème d'outils d'évaluation. Les outils les plus utilisés à titre principal sont les évaluations natives fournies par les fournisseurs de modèles, à égalité avec l'absence totale d'outillage dédié (17% chacun) signe d'un marché encore fragmenté. Seule environ un quart des entreprises effectue des contrôles qualité en temps réel sur le trafic de production réel, ce qui limite la capacité à détecter les dérives une fois les agents déployés. Le profil des répondants, majoritairement des décideurs achats (38%) ou des influenceurs d'achat (34%), suggère que ce constat émane d'acteurs directement engagés dans la mise en place de pratiques d'évaluation, plutôt que de simples observateurs, ce qui renforce la crédibilité du signal malgré la taille modeste de l'échantillon.