Aller au contenu principal
RechercheThe Decoder · 1 min de lecture

Les chatbots IA lisant des radiographies peuvent se montrer dangereusement sûrs d'eux, même quand ils se trompent

Source originale ↗·

L'équipe de recherche derrière RadLE 2.0 vient de publier un nouveau benchmark destiné à évaluer un problème précis en radiologie assistée par intelligence artificielle : la capacité des modèles à reconnaître les limites de leurs propres diagnostics. Concrètement, le test soumet aux systèmes d'IA des radiographies et mesure non seulement si leurs conclusions médicales sont exactes, mais surtout s'ils savent identifier les cas où ils devraient s'abstenir et renvoyer le patient vers un radiologue humain. Les résultats montrent qu'un grand nombre de modèles actuels formulent des diagnostics erronés avec une assurance totale, sans exprimer le moindre doute alors que leur lecture de l'image est fausse. Sur l'ensemble des tests, les radiologues humains conservent une avance nette sur les meilleurs modèles d'IA évalués.

Ce constat pèse lourd pour l'avenir du déploiement clinique de ces outils. Un système d'IA qui se trompe silencieusement, sans signaler son incertitude, représente un risque bien plus grand qu'un système moins performant mais capable de reconnaître ses limites : dans un contexte médical, une fausse assurance peut conduire à un diagnostic manqué ou à un traitement inadapté, avec des conséquences directes pour les patients. Pour les hôpitaux et les éditeurs de logiciels médicaux qui envisagent d'intégrer ces modèles dans leurs flux de travail, cela signifie que la seule mesure de précision ne suffit plus : il faut aussi évaluer la fiabilité de l'auto-évaluation du modèle avant toute autorisation d'usage clinique.

Cette question s'inscrit dans un débat plus large sur la place de l'IA en médecine, où plusieurs modèles ont déjà démontré des performances impressionnantes sur des tâches d'imagerie spécifiques, alimentant l'espoir d'un diagnostic assisté voire autonome. Mais des benchmarks comme RadLE 2.0 rappellent qu'avant de confier un rôle décisionnel à ces systèmes, il faut d'abord leur apprendre à exprimer l'incertitude, un défi technique et éthique que les chercheurs en IA médicale considèrent désormais comme aussi important que l'amélioration brute de la précision diagnostique.

Cet article vous a été utile ?

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

Un quart des citations dans les réponses des chatbots IA provient du journalisme, selon une étude Muckrack
1The Decoder 

Un quart des citations dans les réponses des chatbots IA provient du journalisme, selon une étude Muckrack

Une étude publiée par Muckrack, plateforme spécialisée dans les relations presse, a analysé 15 millions de citations produites par les trois principaux chatbots d'intelligence artificielle, ChatGPT, Claude et Gemini. Résultat : une référence sur quatre renvoie à une source journalistique. Les publications spécialisées et les journalistes sectoriels sont les plus cités, tandis que les grands médias généralistes apparaissent moins fréquemment dans les réponses des modèles. Ce constat a des implications concrètes pour l'industrie des médias. Les publications de niche et les titres spécialisés, tech, santé, finance, droit, semblent tirer un bénéfice disproportionné de la montée en puissance des assistants IA, qui les utilisent comme sources de référence fiables. Pour les annonceurs et les équipes de relations presse, cela signifie que la visibilité dans les chatbots passe désormais par la presse spécialisée autant que par les grands portails d'information. Cette étude s'inscrit dans un débat plus large sur la relation entre les modèles de langage et le journalisme. Plusieurs grands groupes de presse, dont The New York Times, ont engagé des poursuites judiciaires contre OpenAI pour utilisation non autorisée de leurs contenus à des fins d'entraînement. D'autres éditeurs ont préféré signer des accords de licence avec les laboratoires d'IA. La question de savoir si cette exposition dans les réponses des chatbots constitue une forme de valeur compensatoire, ou au contraire un détournement de trafic, reste au coeur des négociations en cours entre médias et acteurs de l'IA générative.

UELes éditeurs de presse français et européens, déjà engagés sur les droits voisins, peuvent s'appuyer sur ces données pour renforcer leurs positions dans les négociations de licences avec les labs d'IA.

RecherchePaper
1 source
Santé : comment l'IA pourrait transformer les remboursements en outils de prédiction médicale
2La Tribune 

Santé : comment l'IA pourrait transformer les remboursements en outils de prédiction médicale

La Direction de la recherche, des études, de l'évaluation et des statistiques (Drees) a publié une étude démontrant que des modèles d'intelligence artificielle peuvent anticiper avec précision l'apparition de pathologies lourdes en exploitant le Système national des données de santé (SNDS). Cette base de données, constituée de l'ensemble des remboursements de l'Assurance maladie française, représente l'un des gisements de données médicales les plus exhaustifs au monde, couvrant près de 70 millions d'assurés sur plusieurs décennies. L'approche clé consiste à traiter les parcours de soins, enchaînements de consultations, prescriptions, hospitalisations, comme des séquences textuelles, permettant aux algorithmes de type transformeur d'y détecter des motifs invisibles aux biostatistiques classiques. Les résultats montrent que ces modèles surpassent significativement les méthodes statistiques traditionnelles pour prédire des maladies chroniques ou des complications graves avant leur déclaration clinique. Pour les médecins et les organismes de santé publique, cela ouvre la voie à une médecine préventive ciblée : identifier les patients à risque élevé plusieurs mois à l'avance, prioriser les interventions et potentiellement réduire la charge sur les hôpitaux. Les économies potentielles pour le système de santé sont considérables, dans un contexte de déficit chronique de l'Assurance maladie. Ces avancées ne vont pas sans tensions. L'exploitation du SNDS, bien que réglementée par la CNIL et le Health Data Hub, soulève des questions persistantes sur la confidentialité des données et les risques de discrimination algorithmique, notamment envers les populations défavorisées, souvent moins bien représentées dans les parcours de soins tracés. Se pose également la question de la souveraineté industrielle : qui développe ces modèles, sur quelle infrastructure, et au bénéfice de qui ? La France dispose d'un actif stratégique rare ; encore faut-il qu'elle en garde la maîtrise.

UEL'étude de la Drees exploite directement le SNDS, base de données de l'Assurance maladie française couvrant 70 millions d'assurés, et soulève des enjeux de souveraineté industrielle et de gouvernance réglementaire (CNIL, Health Data Hub) propres à la France.

💬 Le SNDS, c'est littéralement le meilleur dataset médical du monde occidental, et on commence enfin à en faire quelque chose d'utile. Traiter des parcours de soins comme des séquences textuelles pour les passer dans des transformeurs, c'est une idée simple en apparence, mais les résultats sur la prédiction de pathologies lourdes sont solides. La vraie question, c'est pas la technique, c'est qui va capter la valeur : un acteur français, européen, ou un géant américain qui lorgne dessus depuis des années.

RecherchePaper
1 source
Stress et anxiété : Cette IA peut vous aider avant même que vous n’osiez le demander
3Le Big Data 

Stress et anxiété : Cette IA peut vous aider avant même que vous n’osiez le demander

Des chercheurs de l'Université d'Ottawa ont développé UbiMyTherapist, un assistant basé sur l'intelligence artificielle capable de détecter les signes de détresse émotionnelle avant même que l'utilisateur ne demande de l'aide. Le système analyse en temps réel des données physiologiques et comportementales issues d'appareils du quotidien : variabilité de la fréquence cardiaque via une montre connectée, changements dans le ton de la voix captés par des écouteurs ou un smartphone, et messages écrits par l'utilisateur. À partir de ces signaux combinés, l'IA évalue l'état émotionnel de la personne et adapte ses interventions au contexte. Le prototype construit également un « jumeau numérique » de chaque utilisateur, un profil intégrant antécédents médicaux et psychologiques ainsi que les données émotionnelles collectées en continu. Lors d'une phase de test menée auprès de 24 participants, des thérapeutes agréés ont évalué les réponses générées par le système et ont conclu qu'UbiMyTherapist affichait un niveau élevé d'empathie et de personnalisation, supérieur aux chatbots conversationnels classiques. Ce qui distingue UbiMyTherapist des assistants bien-être existants, c'est son mode proactif : il n'attend pas que l'utilisateur engage la conversation. Or c'est précisément ce premier pas qui pose problème lorsqu'une personne est submergée par l'anxiété ou le stress. En intervenant de façon anticipée, le système lève l'un des obstacles les plus courants à la prise en charge psychologique. Les chercheurs positionnent explicitement leur outil comme un complément aux professionnels de santé mentale, et non comme un substitut, ciblant les barrières d'accès bien documentées : coût des consultations, désert médical, stigmatisation. Pour des millions de personnes sans accès rapide à un thérapeute, un outil capable de détecter une crise naissante et d'intervenir en quelques secondes représente un potentiel clinique réel. Le projet s'inscrit dans une tendance plus large de l'IA appliquée à la santé mentale, un secteur en pleine expansion où les solutions numériques tentent de combler un déficit mondial de professionnels. Les grands modèles de langage, combinés à des capteurs physiologiques, ouvrent la voie à des assistants contextuels qui dépassent la simple conversation textuelle. UbiMyTherapist reste pour l'instant un prototype de recherche, non accessible au grand public. L'équipe de l'Université d'Ottawa poursuit deux axes de développement : améliorer la latence de réponse aux signaux de la montre connectée pour une intervention quasi instantanée, et élargir la collaboration avec des thérapeutes certifiés afin de renforcer la rigueur clinique du système. La question de la confidentialité des données biométriques et émotionnelles collectées en continu constituera vraisemblablement le prochain défi majeur avant toute mise sur le marché.

UELa France fait face aux mêmes barrières d'accès aux soins psychologiques (déserts médicaux, coût des consultations), mais ce prototype canadien n'a pas de déploiement ou partenariat européen annoncé à ce stade.

RecherchePaper
1 source
L'ajustement fin du RAG peut réduire silencieusement la précision de récupération de 40 %, mettant les pipelines à base d'agents en danger
4VentureBeat AI 

L'ajustement fin du RAG peut réduire silencieusement la précision de récupération de 40 %, mettant les pipelines à base d'agents en danger

Des chercheurs de Redis ont publié une étude révélant qu'affiner les modèles d'embeddings pour améliorer la précision d'un système RAG peut réduire silencieusement la qualité de récupération générale jusqu'à 40 %. Le papier, intitulé "Training for Compositional Sensitivity Reduces Dense Retrieval Generalization", a été conduit par Srijith Rajamohan, responsable de la recherche en IA chez Redis, et ses coauteurs. L'équipe a testé ce qui se produit lorsqu'on entraîne un modèle d'embedding à détecter des phrases quasi-identiques mais de sens opposé, par exemple une négation qui inverse complètement la signification d'une phrase. Résultat : cette sensibilité compositionnelle améliore effectivement la précision ciblée, mais détruit la capacité du modèle à récupérer correctement des documents sur des sujets variés qu'il n'a pas appris à traiter spécifiquement. La dégradation atteint 8 à 9 % sur les petits modèles, et jusqu'à 40 % sur un modèle d'embedding de taille intermédiaire actuellement utilisé en production dans de nombreuses entreprises. Les conséquences sont particulièrement sévères pour les pipelines agentiques, où une erreur de récupération ne renvoie pas seulement une mauvaise réponse mais déclenche une cascade d'actions incorrectes en aval. Rajamohan résume le problème central : une forte similarité sémantique ne garantit pas une correspondance exacte d'intention. Les modèles d'embeddings compressent une phrase entière en un seul point dans un espace vectoriel à haute dimension, ce qui fonctionne bien pour la correspondance thématique large, mais échoue quand deux phrases aux mots presque identiques ont des significations opposées. En affinant le modèle pour éloigner ces phrases structurellement différentes, on lui retire l'espace vectoriel qu'il utilisait pour la récupération générale. Les deux objectifs se disputent les mêmes dimensions. L'étude note également que certaines erreurs, notamment les confusions de liaisons grammaticales (quel modificateur s'applique à quel mot dans un contrat, par exemple), ne s'améliorent presque pas avec cet entraînement ciblé, précisément là où une erreur coûte le plus cher. Ce qui rend le problème difficile à diagnostiquer, c'est que les métriques d'évaluation mesurent uniquement la tâche entraînée, pas la régression sur la récupération générale. Elle n'apparaît qu'en production. Les solutions habituelles, comme la recherche hybride combinant embeddings et mots-clés, ou le passage à un modèle plus grand, ne règlent pas le problème architectural sous-jacent. Rajamohan est explicite : "On ne peut pas s'en sortir par la taille." La recherche suggère que les équipes enterprise doivent choisir explicitement entre précision compositionnelle et généralisation large, plutôt que d'optimiser pour l'une en ignorant l'impact sur l'autre. L'enjeu dépasse le seul RAG classique, car les architectures agentiques qui prolifèrent en 2025 et 2026 amplifient chaque erreur de récupération en décision opérationnelle.

UELes entreprises européennes déployant des pipelines RAG agentiques en production sont exposées à ce risque de dégradation silencieuse et doivent revoir leur stratégie d'évaluation des embeddings.

RecherchePaper
1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, l'essentiel de l'IA · désinscription en un clic