Les modèles de pointe retrouvent jusqu'à 65% des faits qu'ils ne peuvent pas rappeler directement, en réfléchissant plus longtemps
Une étude menée par des chercheurs de Google Research et du Technion montre que les grands modèles de langage les plus avancés, comme GPT-5 et Gemini-3, encodent en réalité 95 à 98% des faits testés dans leurs paramètres internes, même lorsqu'ils échouent à les restituer lors d'une question directe. Les chercheurs ont mis au point une méthode appelée « profilage au niveau du fait » (fact-level profiling), qui teste une même information selon plusieurs angles: peut-elle être reproduite à partir de son contexte d'entraînement original, peut-elle être interrogée sous des formulations variées, et quel effort de calcul faut-il pour la récupérer. À partir de cette grille, l'étude distingue cinq profils de connaissance, illustrés par l'exemple du groupe Oasis et de son premier concert au club Boardwalk: rappel direct, échec d'encodage (l'information n'a jamais été mémorisée), échec de rappel (l'information existe mais reste inaccessible), rappel par raisonnement (récupérable seulement via une chaîne de pensée), et inférence sans encodage (le modèle devine en recombinant d'autres faits connus). Selon les auteurs, en laissant les modèles « réfléchir » davantage avant de répondre, via des techniques de raisonnement en chaîne (Chain-of-Thought), ils parviennent à récupérer jusqu'à 65% des faits qu'ils ne savaient pas produire directement.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de VentureBeat AI. Lire l'article original →
Cette distinction change la manière de diagnostiquer les hallucinations des IA. Jusqu'ici, une erreur factuelle était presque systématiquement interprétée comme un manque de connaissance, poussant les équipes d'ingénierie à répondre par des modèles plus gros, davantage de données d'entraînement, ou des architectures de récupération d'information externes (RAG) coûteuses à construire et à maintenir. Or si le problème est le plus souvent un échec d'accès à une information déjà stockée, la solution la plus efficace n'est pas d'agrandir le modèle mais d'améliorer la façon dont il exploite ce qu'il sait déjà, par exemple via du temps de calcul supplémentaire à l'inférence. Pour les entreprises qui déploient des applications reposant sur des LLM, cela ouvre la voie à des gains de fiabilité obtenus par de simples ajustements post-entraînement, moins onéreux qu'un réentraînement complet ou qu'une infrastructure de recherche documentaire.
Ce travail s'inscrit dans un effort plus large visant à comprendre les mécanismes internes des modèles de langage plutôt que de se contenter de mesurer leurs performances en sortie. Les chercheurs notent que les échecs d'encodage et les échecs de rappel sont indiscernables si l'on se fie uniquement aux métriques de précision classiques, alors qu'ils appellent des remèdes radicalement différents: intervention en amont sur les données et la taille du modèle dans un cas, ajustement du comportement du modèle après l'entraînement dans l'autre. À mesure que les laboratoires cherchent à réduire les hallucinations sans multiplier les coûts de calcul, cette approche pourrait orienter davantage de recherche vers l'optimisation du raisonnement à l'inférence plutôt que vers la seule montée en échelle des modèles.
Pas d'impact direct sur la France/UE