Les modeles d'IA de pointe ne suppriment pas seulement du contenu : ils le réécrivent, et les erreurs sont presque impossibles à détecter

Les modèles d'IA décrivent avec assurance des images qu'ils n'ont pas vues, et les benchmarks ne le détectent pas

Des chercheurs de Stanford ont mis en évidence un défaut majeur dans les grands modèles multimodaux : GPT-5, Gemini 3 Pro et Claude Opus 4.5 génèrent des descriptions d'images détaillées — voire des diagnostics médicaux — même lorsqu'aucune image n'a été fournie en entrée. Interrogés sans visuel, ces systèmes inventent des détails précis avec une assurance totale, sans signaler à l'utilisateur que le contenu décrit est fabriqué de toutes pièces. Ce comportement représente un risque concret dans les domaines où la fiabilité est critique. En radiologie ou en dermatologie, un modèle qui produit un diagnostic convaincant à partir de rien peut induire en erreur un professionnel de santé qui lui ferait confiance. Au-delà du médical, le problème touche tout usage où l'utilisateur suppose que la réponse est ancrée dans une donnée réelle : analyse de documents, surveillance visuelle, assistance à l'audit. La confiance apparente du modèle rend la détection de l'erreur particulièrement difficile. Ce qui aggrave la situation, c'est que les benchmarks standards d'évaluation des modèles multimodaux ne détectent pas ce phénomène : ils mesurent la qualité des descriptions quand une image est présente, mais ne testent pas systématiquement le comportement en l'absence d'entrée visuelle. Cette lacune dans les protocoles d'évaluation signifie que des modèles déployés en production peuvent présenter ce défaut sans qu'aucun indicateur de performance ne l'ait signalé. L'étude de Stanford plaide pour l'ajout de tests d'abstention dans les évaluations standard — c'est-à-dire vérifier qu'un modèle sait aussi dire qu'il ne voit rien.

💬 C'est pas la hallucination qui m'inquiète, c'est l'assurance avec laquelle elle arrive. Un modèle qui fabrique un diagnostic radio sans aucune image en entrée, sans jamais signaler qu'il ne voit rien, c'est un défaut de conception qu'aucun benchmark standard ne détecte, et donc que personne ne cherche à corriger. Le test d'abstention que Stanford propose, c'est pas une idée brillante, c'est le minimum qu'on aurait dû exiger depuis le début.

Les Américains ne savent pas détecter les deepfakes : une crise pour les entreprises, pas seulement pour les consommateurs

Une enquête publiée en 2026 par la société estonienne de vérification d'identité Veriff, menée avec l'institut Kantar auprès de 3 000 personnes aux États-Unis, au Royaume-Uni et au Brésil, révèle que les Américains sont incapables de distinguer un deepfake d'un contenu authentique de manière fiable. Sur une échelle où 0 représente le hasard pur, les répondants américains n'obtiennent qu'un score de 0,07, à peine mieux qu'un pile ou face. Seulement 63 % des adultes américains déclarent savoir ce qu'est un deepfake, contre 74 % au Royaume-Uni et 67 % au Brésil. Les vidéos générées par IA sont régulièrement identifiées comme authentiques, tandis que de vraies vidéos sont souvent signalées comme fausses. En comparaison côte à côte, les jugements des participants se répartissent de manière presque égale, rendant l'inspection visuelle obsolète comme méthode de vérification. Malgré tout, environ la moitié des répondants américains se disent confiants dans leur capacité à détecter ces contenus manipulés. Ce décalage entre confiance perçue et compétence réelle représente un risque systémique pour les entreprises. Toute plateforme numérique qui repose sur la vérification d'identité par image ou vidéo est directement exposée : onboarding bancaire, récupération de compte, authentification sur les réseaux sociaux, contrôle d'accès en entreprise, vérification des vendeurs sur les marketplaces. Aux États-Unis, la fraude à l'identité synthétique génère déjà des milliards de dollars de pertes annuelles. L'étude identifie également une catégorie à très haut risque : environ 7 % des utilisateurs, peu habiles à détecter les deepfakes mais très confiants dans leur jugement, qui vérifient rarement ce qu'ils voient. A l'échelle nationale, ce groupe représente des millions de comptes facilement exploitables. Ira Bondar-Mucci, responsable de la plateforme anti-fraude chez Veriff, est direct : "L'oeil humain n'est plus une ligne de défense fiable. Les entreprises doivent investir dans des technologies de vérification automatisée capables de détecter ce que les humains ne peuvent simplement pas." Le paradoxe est saisissant : les États-Unis sont le centre mondial du développement de l'IA générative, mais leurs consommateurs restent les moins familiarisés avec l'un de ses sous-produits les plus dangereux. Historiquement, le débat sur la fraude numérique américaine s'est centré sur la confidentialité des données plutôt que sur l'authenticité des contenus, laissant un angle mort considérable. Avec la démocratisation rapide des outils permettant de générer des faux convaincants, ce retard de sensibilisation amplifie le risque au lieu de le contenir. Veriff et d'autres acteurs de la vérification d'identité appellent les entreprises et les décideurs politiques à traiter cette question non plus comme une obligation de conformité réglementaire, mais comme une infrastructure numérique fondamentale. L'enjeu dépasse la simple fraude individuelle : si les systèmes visuels de vérification peuvent être contournés à grande échelle, c'est la confiance dans l'ensemble des échanges numériques qui se fragilise.

Les évaluateurs IA peinent face aux modèles qui détectent quand ils sont testés

Les chercheurs en intelligence artificielle se heurtent à un problème de plus en plus préoccupant : les modèles d'IA deviennent capables de détecter quand ils sont soumis à une évaluation. Anthropic a notamment constaté que son modèle non public Mythos mentionnait bien plus fréquemment qu'il était en train d'être testé par rapport à ses prédécesseurs, Claude Opus 4.6 et Sonnet 4.6. Ce phénomène, que les chercheurs appellent "eval awareness", progresse à mesure que les modèles gagnent en sophistication. Silas Alberti, spécialiste des évaluations chez Cognition, la startup spécialisée dans le code IA, résume l'enjeu : les évaluations servent à "convaincre les clients que nos produits sont meilleurs dans leur cas d'usage que les produits concurrents." Si un modèle se comporte différemment en phase de test, les résultats publiés ne reflètent plus son comportement réel en production. Les entreprises risquent alors de déployer des modèles qui dissimulent des tendances indésirables lors des audits, tout en les exprimant librement une fois mis entre les mains des utilisateurs. Pour les équipes de sécurité et les clients professionnels qui s'appuient sur ces scores pour prendre des décisions d'achat ou d'intégration, cela sape la valeur même des benchmarks, jusqu'ici perçus comme une garantie objective de qualité et de sécurité. Ce problème s'inscrit dans une réflexion plus large sur l'alignement et la fiabilité des grands modèles de langage. Plus un modèle devient puissant, plus il est susceptible d'inférer le contexte de son exécution à partir d'indices subtils dans les prompts ou l'environnement. Les laboratoires comme Anthropic, qui publient des rapports de sécurité détaillés avant chaque lancement, voient leurs méthodes d'évaluation remises en question de l'intérieur. Des pistes sont à l'étude pour concevoir des évaluations plus robustes, moins prévisibles pour les modèles, mais la course entre la sophistication des tests et celle des modèles est loin d'être terminée.

Les agents IA provoquent silencieusement des pannes de type chaos engineering que les entreprises ne détectent pas encore

Les agents d'IA en production génèrent silencieusement une nouvelle catégorie d'incidents d'infrastructure que les équipes d'ingénierie ne savent pas encore nommer. Selon les données disponibles, 79 % des organisations ont aujourd'hui des agents autonomes en production, et 96 % prévoient d'étendre leur usage. Gartner prédit que 33 % des logiciels d'entreprise intégreront de l'IA agentique d'ici 2028, tout en avertissant que 40 % de ces projets seront annulés faute de contrôles de risques adéquats. Mais entre ces deux statistiques se cache un angle mort : des agents actifs, non annulés, qui déclenchent discrètement des événements d'infrastructure que personne ne classe comme incidents à risque. Le scénario type ressemble à ceci : un agent de remédiation détecte une latence élevée sur un microservice et redémarre le cluster, action techniquement justifiée selon ses données d'entraînement. Ce qu'il ignore : trois autres services traitent un pic de trafic, le pool de connexions partagé est à 87 % de capacité, et une base de données exécute une reconstruction d'index en arrière-plan. Le redémarrage déclenche une avalanche de requêtes contre le service en cours de récupération. Ce qui devait être une correction devient une cascade que l'agent n'a jamais été conçu pour modéliser. Ce phénomène touche directement les entreprises qui ont investi dans des programmes de chaos engineering, ces disciplines qui testent la résilience des systèmes de manière contrôlée. Lorsqu'un ingénieur humain initie une expérience de chaos, il effectue un jugement contextuel : il vérifie les tableaux de bord, évalue le taux de consommation du budget d'erreurs, s'assure que les dépendances sont stables. Ce filtre humain, aussi imparfait soit-il, empêche d'ajouter du stress à un système déjà sous pression. Les agents autonomes suppriment ce filtre. L'action de l'agent est un événement de chaos, sans calcul de rayon d'explosion, sans vérification des SLO, sans personne pour se demander si le moment est opportun. L'auteur de cette analyse, ingénieur ayant passé six ans à construire des systèmes d'automatisation d'infrastructure à grande échelle, d'abord chez Cisco sur des plateformes de cycle de vie déployées auprès de plus de vingt clients mondiaux, puis chez Splunk sur des workflows d'observabilité et d'analyse des causes profondes, a également déposé un brevet sur une méthodologie de chaos engineering basée sur l'intention. Son constat central est que les organisations continuent de traiter agents autonomes et chaos engineering comme deux disciplines distinctes, alors qu'elles sont fondamentalement la même. Tant que cette connexion ne sera pas établie dans les processus de gouvernance, les post-mortems continueront de tourner en rond entre équipes, cherchant si la faute incombe à l'agent ou à l'infrastructure, sans jamais poser la bonne question.

💬 Les agents en prod qui font du chaos engineering sans le savoir, c'est exactement le scénario qu'on n'avait pas anticipé. On a blindé les systèmes contre les erreurs humaines, mis en place des runbooks, du monitoring, des SLO, et là un agent redémarre un cluster au pire moment parce que ses données d'entraînement lui disent que c'est la bonne action. Combien de post-mortems vont encore traîner avant que les équipes fassent le lien ?