Les modèles d'IA décrivent avec assurance des images qu'ils n'ont pas vues, et les benchmarks ne le détectent pas
Des chercheurs de Stanford ont mis en évidence un défaut majeur dans les grands modèles multimodaux : GPT-5, Gemini 3 Pro et Claude Opus 4.5 génèrent des descriptions d'images détaillées, voire des diagnostics médicaux, même lorsqu'aucune image n'a été fournie en entrée. Interrogés sans visuel, ces systèmes inventent des détails précis avec une assurance totale, sans signaler à l'utilisateur que le contenu décrit est fabriqué de toutes pièces. Ce comportement représente un risque concret dans les domaines où la fiabilité est critique. En radiologie ou en dermatologie, un modèle qui produit un diagnostic convaincant à partir de rien peut induire en erreur un professionnel de santé qui lui ferait confiance. Au-delà du médical, le problème touche tout usage où l'utilisateur suppose que la réponse est ancrée dans une donnée réelle : analyse de documents, surveillance visuelle, assistance à l'audit. La confiance apparente du modèle rend la détection de l'erreur particulièrement difficile. Ce qui aggrave la situation, c'est que les benchmarks standards d'évaluation des modèles multimodaux ne détectent pas ce phénomène : ils mesurent la qualité des descriptions quand une image est présente, mais ne testent pas systématiquement le comportement en l'absence d'entrée visuelle. Cette lacune dans les protocoles d'évaluation signifie que des modèles déployés en production peuvent présenter ce défaut sans qu'aucun indicateur de performance ne l'ait signalé. L'étude de Stanford plaide pour l'ajout de tests d'abstention dans les évaluations standard, c'est-à-dire vérifier qu'un modèle sait aussi dire qu'il ne voit rien.
