RechercheOpenAI Blog · 5 sept. 2025, 13:00· 1 min de lecture

Pourquoi les modèles de langage font des hallucinations

OpenAI a publié une étude expliquant pourquoi les modèles de langage produisent des "hallucinations". Les résultats montrent que des évaluations améliorées peuvent renforcer la fiabilité, l'honnêteté et la sécurité des systèmes d'IA.

Dans nos dossiers

OpenAI

Cet article vous a été utile ?

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

1OpenAI Blog

Amélioration de la hiérarchie d'instructions dans les grands modèles de langage de pointe

IH-Challenge est un dispositif d'entraînement qui apprend aux grands modèles de langage à prioriser les instructions de confiance selon une hiérarchie définie. Cette approche améliore la capacité des modèles à être guidés vers des comportements sûrs et renforce leur résistance aux attaques par injection de prompt. Les résultats montrent des gains significatifs en matière de sécurité et de contrôlabilité des LLMs.

UECette recherche sur la sécurité et la contrôlabilité des LLMs pourrait bénéficier aux développeurs européens comme Mistral AI dans leur effort de conformité avec l'AI Act de l'UE.

RecherchePaper

1 source

2Apple Machine Learning

Diffusion des politiques de démasquage pour les modèles de langage par diffusion

Les modèles de langage à diffusion (dLLMs) atteignent désormais des performances comparables à celles des modèles autorégressifs classiques sur de nombreuses tâches, tout en promettant une meilleure efficacité lors de l'inférence. Un aspect central de leur conception réside dans la procédure d'échantillonnage, c'est-à-dire la méthode qui détermine quels tokens démasquer à chaque étape du processus de diffusion. Des travaux récents montrent que des stratégies heuristiques, comme le seuillage de confiance, améliorent à la fois la qualité des échantillons générés et le débit de tokens par rapport à un démasquage aléatoire. Ces heuristiques nécessitent cependant un réglage manuel minutieux pour fonctionner correctement. Ce constat pose un problème concret pour l'adoption des dLLMs à grande échelle : sans automatisation de ce réglage, chaque nouvelle tâche ou configuration exige une intervention humaine pour ajuster les paramètres de démasquage, ce qui limite la flexibilité et l'efficacité pratique de ces modèles. Or l'un des arguments majeurs en faveur des dLLMs face aux modèles autorégressifs est justement leur potentiel de génération plus rapide, puisqu'ils peuvent en théorie démasquer plusieurs tokens en parallèle plutôt que mot par mot. Si les politiques de démasquage restent dépendantes d'un tuning manuel fragile, ce gain d'efficacité promis reste difficile à exploiter pleinement en conditions réelles. Ces travaux s'inscrivent dans un mouvement de recherche plus large visant à rendre les dLLMs, une alternative encore récente aux architectures autorégressives dominantes comme GPT, réellement compétitifs en production. Après avoir démontré leur viabilité sur le plan de la qualité de génération, la communauté cherche maintenant à automatiser les choix algorithmiques qui restent aujourd'hui confiés à l'intuition des chercheurs, en particulier via des politiques de démasquage apprises plutôt que fixées à la main. L'enjeu porte sur la capacité de ces modèles à généraliser leurs performances sans dépendre d'un réglage spécifique à chaque tâche.

RecherchePaper

1 source

3The Decoder

Lorsque les modèles de langage hallucinent, ils laissent une "énergie déversée" dans leur propre mathématique

Lorsque les grands modèles de langage hallucinent, ils laissent des traces mesurables dans leurs propres calculs. Des chercheurs de l'Université Rome Sapienza ont développé une méthode sans entraînement qui détecte ces traces et généralise mieux que les approches précédentes.

UECette avancée de l'Université La Sapienza de Rome renforce la capacité européenne à fiabiliser les LLMs, un enjeu clé pour les acteurs comme Mistral qui doivent répondre aux exigences de transparence de l'IA Act.

RecherchePaper

1 source

4MarkTechPost

L'attention paginée dans les grands modèles de langage

La gestion de la mémoire GPU constitue aujourd'hui le principal goulot d'étranglement dans le déploiement des grands modèles de langage à grande échelle. L'attention paginée (Paged Attention) apporte une réponse concrète à ce problème en s'inspirant du mécanisme de mémoire virtuelle des systèmes d'exploitation, permettant de multiplier significativement le nombre de requêtes traitées simultanément sans augmenter le parc matériel. L'enjeu est considérable pour les opérateurs d'infrastructure IA. Avec l'approche classique, chaque requête se voit attribuer un bloc de mémoire fixe dimensionné au pire cas, la longueur maximale de séquence, même si la réponse générée est bien plus courte. Ce gaspillage structurel plafonne la concurrence bien avant que le GPU soit saturé computationnellement, forçant les équipes à surprovisioner le matériel ou à limiter arbitrairement le nombre d'utilisateurs simultanés. Les chiffres illustrent l'ampleur du problème : avec un modèle de type GPT à 32 couches, 32 têtes d'attention et une dimension de 128 par tête stockée en fp16, chaque token du cache KV représente 524 288 octets (512 Ko). Pour une séquence maximale de 2 048 tokens, chaque requête pré-alloue 1 024 Mo de VRAM, mais n'en utilise en moyenne que 250 Mo pour une réponse typique de 500 tokens, soit un taux d'utilisation de seulement 24,4 %. Sur 100 utilisateurs simultanés, ce sont 75 Go de mémoire GPU immobilisés inutilement. L'attention paginée résout cela en découpant le cache KV en blocs de 16 tokens alloués à la demande, et en permettant le partage de préfixes identiques entre requêtes via un mécanisme de Copy-on-Write. Cette approche, popularisée par le moteur d'inférence vLLM, représente aujourd'hui une brique fondamentale pour tout système de production sérieux. Les gains en débit sont substantiels dès les charges modérées, l'article mesure l'écart d'utilisation mémoire sur des batchs de 10 à 200 requêtes simultanées, et permettent de différer ou d'éviter des investissements matériels coûteux pour les équipes qui déploient des LLMs à l'échelle.

RecherchePaper

1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, l'essentiel de l'IA · désinscription en un clic