Surveiller le comportement des LLM : dérives, nouvelles tentatives et patterns de refus

Les systèmes d'intelligence artificielle générative posent un défi fondamental aux équipes d'ingénierie : contrairement aux logiciels traditionnels, où une entrée A combinée à une fonction B produit toujours un résultat C, les modèles de langage sont stochastiques. Le même prompt peut retourner des réponses différentes d'un lundi à un mardi, rendant caducs les tests unitaires classiques. Pour répondre à ce problème, des équipes spécialisées dans le déploiement d'IA pour des clients Fortune 500 dans des secteurs à hauts risques, où une hallucination n'est pas anecdotique mais constitue un risque de conformité majeur, ont formalisé un cadre structuré : l'AI Evaluation Stack. Ce pipeline d'assertions remplace les simples "vibe checks" subjectifs par une infrastructure d'évaluation rigoureuse organisée en couches distinctes.

La première couche repose sur des assertions déterministes, qui traitent en priorité les pannes les plus fréquentes en production : non pas les hallucinations sémantiques, mais les erreurs de syntaxe et de routage. Ces vérifications binaires posent des questions strictes, le modèle a-t-il généré le bon schéma JSON ? A-t-il invoqué le bon appel d'API avec les bons paramètres ? A-t-il correctement renseigné un identifiant GUID ou une adresse email ? Ce principe "fail-fast" est délibérément placé en amont pour éviter de déclencher des évaluations coûteuses sur des sorties déjà mal formées. La seconde couche intervient lorsque la syntaxe est validée : elle évalue la qualité sémantique via ce qu'on appelle le LLM-as-a-Judge, c'est-à-dire un modèle frontier (plus puissant que le modèle de production) chargé d'évaluer la nuance, la politesse ou le caractère actionnable d'une réponse, des dimensions qu'aucune regex ne peut capturer de façon fiable. Ce juge artificiel devient ainsi un proxy scalable de la relecture humaine, capable de traiter des dizaines de milliers de cas de test dans un pipeline CI/CD.

Cette architecture répond à une maturité croissante du secteur face aux risques de dérive comportementale des LLMs en production. Dans les industries réglementées, finance, santé, juridique, un modèle qui dévie de ses instructions, refuse des requêtes légitimes ou produit des sorties mal structurées peut engendrer des conséquences opérationnelles et légales sérieuses. Les grandes entreprises technologiques et les startups d'observabilité IA, comme Braintrust, Langfuse ou Weights & Biases, investissent massivement dans ces outils d'évaluation. L'enjeu est de faire passer l'IA générative du statut de prototype impressionnant à celui de composant industriel fiable, soumis aux mêmes exigences de qualité que n'importe quel service critique en production.