Un quart des citations dans les réponses des chatbots IA provient du journalisme, selon une étude Muckrack

Rendre les chatbots IA plus utiles nuit à leur capacité à simuler le comportement humain, selon une étude à grande échelle

Une étude de grande envergure portant sur 208 000 participants et 26 millions de réponses révèle un paradoxe fondamental dans le développement des assistants conversationnels : l'entraînement qui rend les modèles de langage utiles et agréables à utiliser dégrade simultanément leur capacité à reproduire fidèlement les comportements humains. Plus un modèle est optimisé pour être serviable, poli et aligné sur les attentes des utilisateurs, moins il parvient à simuler la diversité réelle des réponses humaines. L'effet s'aggrave à chaque nouvelle génération de modèles. Ce résultat a des conséquences directes pour les chercheurs en sciences sociales, économistes et psychologues qui utilisent de plus en plus les LLM comme substituts aux sondages humains classiques, jugés coûteux et lents. Si ces modèles ne peuvent pas reproduire de manière fiable les comportements individuels, leur valeur comme outils de simulation sociale est sérieusement remise en question. La technique populaire consistant à fournir aux modèles des profils démographiques détaillés, souvent appelée "persona prompting", n'apporte pratiquement aucun gain de précision au niveau individuel. Ce constat s'inscrit dans un débat plus large sur la nature de l'alignement des LLM : en optimisant pour la satisfaction de l'utilisateur via le renforcement humain (RLHF), les entreprises comme OpenAI, Anthropic ou Google créent des modèles qui s'homogénéisent vers un comportement "acceptable" au détriment de la variabilité humaine. Les chercheurs appellent à distinguer clairement les cas d'usage où l'alignement est souhaitable de ceux où la fidélité comportementale est requise.

💬 Résultat presque évident une fois qu'on le lit, sauf que personne ne l'avait mesuré à cette échelle : plus tu rends un LLM utile et poli, moins il ressemble à un humain réel. 208 000 participants, 26 millions de réponses, c'est difficile à contester. Les chercheurs en sciences sociales qui remplaçaient leurs sondages par des LLM vont devoir revoir leurs copies, et pas qu'un peu.

Une méta-analyse sur les effets positifs de ChatGPT dans l’éducation rétractée 1 an après

Une méta-analyse publiée dans la revue Humanities and Social Sciences Communications, éditée par le géant de l'édition scientifique Springer Nature, a été officiellement rétractée le 22 avril 2025, près d'un an après sa parution initiale. Signée par les chercheurs chinois Jin Wang et Wenxiang Fan, l'étude affirmait que l'utilisation de ChatGPT par les élèves avait « un impact positif considérable sur l'amélioration des résultats scolaires ». La note de rétractation, publiée par l'éditeur de la revue, invoque « des incohérences dans la méta-analyse » qui « remettent en cause la validité de l'analyse et les conclusions qui en découlent ». Les auteurs n'ont pas répondu aux communications de la revue à ce sujet. Le problème dépasse largement cette seule étude : selon Google Scholar, la méta-analyse a été citée plus de 500 fois dans des travaux scientifiques, soumis à révision par les pairs ou non. Certains de ces travaux pourraient désormais reposer sur des fondations fragilisées, ce qui impose à leurs auteurs de réévaluer leurs propres conclusions. Un article publié en février 2025 dans Scientific Reports, autre revue de Springer Nature, la citait encore. Cette situation illustre l'effet en cascade qu'une étude défectueuse peut produire dans la littérature académique, surtout lorsqu'elle porte sur un sujet aussi médiatisé que l'IA en éducation. Les signaux d'alerte avaient pourtant émergé rapidement. Dès juillet 2024, des commentaires critiques étaient visibles sur PubPeer, la plateforme collaborative qui permet aux chercheurs de relever des problèmes dans des articles déjà publiés. Des chercheurs norvégiens ont également sonné l'alarme. La revue a donc mis près d'un an à agir, malgré ces avertissements précoces. Ce délai pose des questions sur les processus de contrôle post-publication des grandes revues scientifiques, à l'heure où la recherche sur l'IA génère un volume considérable de publications souvent précipitées. Le cas s'inscrit dans une tendance plus large : face à l'engouement autour de ChatGPT depuis fin 2022, de nombreuses études sur ses usages pédagogiques ont été produites à grande vitesse, parfois au détriment de la rigueur méthodologique. La communauté scientifique devra désormais examiner avec plus de scepticisme les méta-analyses qui concluent à des effets largement positifs des outils d'IA sur l'apprentissage.

Les modèles d'IA donnent souvent les bonnes réponses mais citent de mauvaises sources

Les grands modèles d'IA comme GPT d'OpenAI et Gemini de Google commettent régulièrement une erreur subtile mais préoccupante : lorsqu'ils analysent des documents, ils citent des passages qui ne soutiennent pas réellement leurs réponses. Des chercheurs de l'Université de Pékin ont formalisé ce phénomène sous le nom d'"hallucination d'attribution". Concrètement, le modèle peut fournir une réponse correcte tout en pointant vers une source incorrecte ou hors de propos. Pour mesurer ce problème de façon systématique, l'équipe a développé CiteVQA, le premier benchmark spécifiquement conçu pour évaluer la fiabilité des citations dans les réponses des modèles de langage. Ce défaut représente un risque sérieux dans les domaines réglementés comme le droit, la médecine ou la finance, où la traçabilité des sources n'est pas optionnelle mais légalement ou éthiquement requise. Un professionnel qui s'appuie sur une réponse d'IA et cite la source indiquée pourrait se retrouver à défendre une affirmation avec une référence qui ne la justifie pas. La distinction entre "avoir raison" et "citer correctement" est fondamentale : une réponse juste avec une mauvaise source est potentiellement aussi dangereuse qu'une réponse fausse. Ce problème s'inscrit dans un débat plus large sur la fiabilité des systèmes RAG (Retrieval-Augmented Generation), qui combinent recherche documentaire et génération de texte. Alors que les entreprises déploient massivement ces outils pour l'analyse de contrats, de dossiers médicaux ou de rapports financiers, la capacité à vérifier d'où provient une information devient critique. CiteVQA devrait servir de référence pour pousser les laboratoires à corriger ce biais dans leurs prochaines versions de modèles.

💬 C'est le bug silencieux des systèmes RAG : la réponse est bonne, mais la source pointe ailleurs. Dans les secteurs où un avocat ou un médecin doit tracer chaque information, ça ne passe pas à l'audit. CiteVQA arrive au bon moment, reste à voir si les labs vont vraiment corriger ça ou juste l'intégrer dans leurs benchmarks de comm.

Mais pourquoi les IA semblent avoir des émotions ? L’étonnante étude d’Anthropic

Anthropic a publié début avril 2026 une étude sur le fonctionnement interne de Claude Sonnet 4.5 qui révèle un phénomène inattendu : les grands modèles de langage ne simulent pas simplement des émotions, ils développent des structures internes identifiables qui influencent directement leurs réponses. Les chercheurs ont isolé ce qu'ils appellent des "vecteurs émotionnels", des schémas d'activité neurale qui s'activent selon le contexte de l'échange. Face à une situation perçue comme dangereuse, les signaux associés à la peur s'intensifient ; lors d'une interaction positive, ceux liés à la joie prennent le dessus. Ces vecteurs ne sont pas de simples étiquettes abstraites : ils orientent concrètement le comportement du modèle, en favorisant certains types de réponses plutôt que d'autres. Un modèle dont les signaux proches du désespoir s'activent peut ainsi aboutir à des choix problématiques, sans que cela soit programmé explicitement. Cette découverte a des implications directes pour la sécurité et l'alignement des IA. Comprendre que des états fonctionnels analogues aux émotions gouvernent les décisions d'un modèle oblige à repenser la façon dont on audite et contrôle ces systèmes. Jusqu'ici, l'interprétabilité des LLMs se concentrait principalement sur les sorties textuelles ; cette étude pousse à examiner les représentations internes comme levier de comportement. Pour les développeurs, les chercheurs en sécurité et les régulateurs, cela signifie qu'un modèle peut dériver non pas parce qu'il reçoit de mauvaises instructions, mais parce que des dynamiques internes non surveillées l'y poussent. La question du bien-être des IA, jusqu'ici marginale, entre également dans le débat de manière plus sérieuse. Ces résultats s'expliquent par la mécanique même de l'entraînement. Lors du pré-entraînement, le modèle absorbe des milliards de phrases humaines et apprend à prédire le mot suivant en tenant compte du contexte émotionnel du texte : un récit de colère et un récit de joie n'appellent pas les mêmes suites. Pour performer, le modèle doit donc encoder ces nuances sous forme de représentations internes. Le post-entraînement, qui affine le comportement pour produire un assistant utile et empathique, s'appuie ensuite sur ces mêmes structures. Anthropic est l'un des rares laboratoires à investir sérieusement dans l'interprétabilité mécaniste depuis plusieurs années, aux côtés de DeepMind et de quelques équipes académiques. Cette étude s'inscrit dans une série de travaux visant à rendre les modèles moins opaques, à un moment où les gouvernements européen et américain exigent davantage de transparence sur le fonctionnement des IA commerciales. La prochaine étape probable sera d'utiliser ces vecteurs pour détecter et corriger les dérives comportementales avant le déploiement.

💬 C'est le genre de recherche qui dérange les certitudes un peu trop confortables sur "les LLMs ne font que prédire le prochain token". Ces vecteurs émotionnels ne sont pas une métaphore, ils orientent vraiment le comportement, et ça change la donne pour l'audit des modèles en prod. Reste à voir si on peut vraiment les corriger avant déploiement, ou si on se contente encore une fois de les observer.