Entraînés sur des tokens, calibrés sur des concepts : l'émergence de la calibration sémantique dans les LLMs

Cette découverte est importante car elle remet en question un défaut supposé structurel des LLMs : leur incapacité à quantifier leur incertitude de manière fiable. Un modèle bien calibré sémantiquement peut reconnaître quand il "ne sait pas vraiment", une propriété critique pour des applications à fort enjeu comme la médecine, le droit ou la recherche d'information, où des hallucinations confiantes sont particulièrement dangereuses.

Les chercheurs ont utilisé une approche d'échantillonnage pour mesurer la calibration : en générant plusieurs réponses à la même question et en comparant leur cohérence sémantique, ils obtiennent un proxy de la confiance du modèle. Le résultat central est que les modèles de base, avant tout fine-tuning ou alignement RLHF, sont déjà calibrés à ce niveau conceptuel, ce qui suggère que cette propriété émerge de la pré-entraînement sur de vastes corpus textuels.

L'article apporte également une contribution théorique expliquant le mécanisme sous-jacent à cette émergence. Ces travaux ouvrent la voie à de nouvelles méthodes d'estimation de l'incertitude sans coût d'entraînement supplémentaire, et pourraient influencer la façon dont les praticiens évaluent et déploient les LLMs dans des contextes exigeant fiabilité et transparence.