Les LLM ne sont pas (toujours) bayésiens : les incohérences internes de leurs croyances probabilistes
Des chercheurs en intelligence artificielle publient une étude intitulée « LLMs Are Not (Consistently) Bayesian: Quantifying Internal (In)consistencies of LLMs' Probabilistic Beliefs », qui propose une nouvelle méthode pour mesurer la cohérence des grands modèles de langage lorsqu'ils manient l'incertitude. Les auteurs traitent les LLM comme des règles de traitement de l'information et introduisent la notion d'écart de traitement de l'information, c'est-à-dire l'écart entre la façon dont un modèle actualise ses croyances face à de nouvelles preuves et ce que prescrirait une mise à jour bayésienne théorique. Cet indicateur sert à quantifier, de façon systématique, les incohérences internes des croyances probabilistes générées par les modèles à travers une série d'expériences approfondies.
Résumé et traduction réalisés par Le Fil IA à partir de Apple Machine Learning. Lire l'article original →
Cette question dépasse le simple exercice académique : de plus en plus de systèmes d'IA sont déployés dans des domaines comme la médecine, la recherche scientifique ou le droit, où les preuves disponibles n'aboutissent presque jamais à une réponse unique et certaine. Dans ces contextes, un modèle doit pouvoir représenter une incertitude réaliste et l'ajuster de manière rationnelle à mesure que de nouvelles informations arrivent, faute de quoi ses recommandations peuvent paraître fiables sans l'être réellement. Si les LLM s'écartent de façon significative et irrégulière du raisonnement bayésien, cela signifie que leurs estimations de confiance ne peuvent pas être prises pour argent comptant dans des décisions à fort enjeu.
Ces travaux s'inscrivent dans un effort plus large de la recherche en IA pour évaluer la calibration et la fiabilité des modèles de langage, un sujet devenu central à mesure que ces systèmes sont utilisés comme assistants de décision plutôt que de simples générateurs de texte. En documentant précisément où et comment le raisonnement des LLM diverge des normes probabilistes classiques, cette approche ouvre la voie à des méthodes de correction ou d'entraînement visant à rendre les modèles plus fiables dans leur gestion de l'incertitude, un enjeu clé pour leur adoption dans des secteurs réglementés.
Pas d'impact direct sur la France/UE