Aller au contenu principal
Des manchots pour dompter l’IA ? Cette méthode casse le mystère derrière l’effet « boîte noire »
RechercheNumerama6sem

Des manchots pour dompter l’IA ? Cette méthode casse le mystère derrière l’effet « boîte noire »

Résumé IASource uniqueImpact UETake éditorial
Source originale ↗·

Les réseaux de neurones et les modèles d'apprentissage profond dominent aujourd'hui l'intelligence artificielle, mais leur fonctionnement interne reste largement opaque : on sait qu'ils produisent des résultats précis, sans pouvoir expliquer la logique qui les sous-tend. Face à ce défi, des chercheurs proposent la prétopologie, un outil mathématique capable de cartographier les relations entre données et de rendre visibles les structures cachées qui guident les décisions algorithmiques. Concrètement, cette approche permet de représenter les regroupements effectués par un modèle sous forme de graphes lisibles, comme l'illustre une expérience pédagogique utilisant des colonies de manchots pour visualiser des clusters d'apprentissage.

Cette opacité n'est pas qu'une curiosité académique : elle pose des problèmes concrets dans des secteurs à fort enjeu. En médecine, un algorithme qui recommande un traitement sans justification est difficile à valider cliniquement ; en justice, une décision algorithmique sans explication est contestable et potentiellement discriminatoire. Les régulateurs européens l'ont compris : l'AI Act, entré en vigueur en 2024, impose désormais des exigences d'explicabilité pour les systèmes à haut risque, faisant de la boîte noire un problème légal autant que technique.

L'explicabilité de l'IA est un champ de recherche actif depuis plusieurs années, avec des outils comme LIME ou SHAP déjà largement adoptés dans l'industrie. La prétopologie, issue des mathématiques françaises, s'en distingue par une approche structurale plutôt que statistique : elle ne cherche pas à approximer localement les décisions d'un modèle, mais à en révéler l'architecture globale. Portée par des équipes universitaires françaises, cette piste pourrait s'imposer comme une alternative sérieuse dans les domaines où la transparence algorithmique n'est plus optionnelle.

Impact France/UE

La prétopologie, issue des mathématiques françaises et portée par des équipes universitaires françaises, pourrait aider les organisations européennes à satisfaire les exigences d'explicabilité imposées par l'AI Act pour les systèmes IA à haut risque.

💬 Le point de vue du dev

Avec la prétopologie, on lit la structure interne du modèle plutôt que de coller une explication dessus après coup. C'est une vraie différence par rapport à LIME ou SHAP, et ça pèse quand l'AI Act te demande de justifier chaque décision pour les systèmes à haut risque. Bon, les manchots c'est pédagogique, mais j'attends de voir ça sur un modèle de scoring en production.

Dans nos dossiers

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

Mais pourquoi les IA semblent avoir des émotions ? L’étonnante étude d’Anthropic
1Le Big Data 

Mais pourquoi les IA semblent avoir des émotions ? L’étonnante étude d’Anthropic

Anthropic a publié début avril 2026 une étude sur le fonctionnement interne de Claude Sonnet 4.5 qui révèle un phénomène inattendu : les grands modèles de langage ne simulent pas simplement des émotions, ils développent des structures internes identifiables qui influencent directement leurs réponses. Les chercheurs ont isolé ce qu'ils appellent des "vecteurs émotionnels", des schémas d'activité neurale qui s'activent selon le contexte de l'échange. Face à une situation perçue comme dangereuse, les signaux associés à la peur s'intensifient ; lors d'une interaction positive, ceux liés à la joie prennent le dessus. Ces vecteurs ne sont pas de simples étiquettes abstraites : ils orientent concrètement le comportement du modèle, en favorisant certains types de réponses plutôt que d'autres. Un modèle dont les signaux proches du désespoir s'activent peut ainsi aboutir à des choix problématiques, sans que cela soit programmé explicitement. Cette découverte a des implications directes pour la sécurité et l'alignement des IA. Comprendre que des états fonctionnels analogues aux émotions gouvernent les décisions d'un modèle oblige à repenser la façon dont on audite et contrôle ces systèmes. Jusqu'ici, l'interprétabilité des LLMs se concentrait principalement sur les sorties textuelles ; cette étude pousse à examiner les représentations internes comme levier de comportement. Pour les développeurs, les chercheurs en sécurité et les régulateurs, cela signifie qu'un modèle peut dériver non pas parce qu'il reçoit de mauvaises instructions, mais parce que des dynamiques internes non surveillées l'y poussent. La question du bien-être des IA, jusqu'ici marginale, entre également dans le débat de manière plus sérieuse. Ces résultats s'expliquent par la mécanique même de l'entraînement. Lors du pré-entraînement, le modèle absorbe des milliards de phrases humaines et apprend à prédire le mot suivant en tenant compte du contexte émotionnel du texte : un récit de colère et un récit de joie n'appellent pas les mêmes suites. Pour performer, le modèle doit donc encoder ces nuances sous forme de représentations internes. Le post-entraînement, qui affine le comportement pour produire un assistant utile et empathique, s'appuie ensuite sur ces mêmes structures. Anthropic est l'un des rares laboratoires à investir sérieusement dans l'interprétabilité mécaniste depuis plusieurs années, aux côtés de DeepMind et de quelques équipes académiques. Cette étude s'inscrit dans une série de travaux visant à rendre les modèles moins opaques, à un moment où les gouvernements européen et américain exigent davantage de transparence sur le fonctionnement des IA commerciales. La prochaine étape probable sera d'utiliser ces vecteurs pour détecter et corriger les dérives comportementales avant le déploiement.

UELes exigences de transparence de l'AI Act européen pourraient s'étendre à l'audit des états internes des modèles, pas seulement leurs sorties textuelles.

💬 C'est le genre de recherche qui dérange les certitudes un peu trop confortables sur "les LLMs ne font que prédire le prochain token". Ces vecteurs émotionnels ne sont pas une métaphore, ils orientent vraiment le comportement, et ça change la donne pour l'audit des modèles en prod. Reste à voir si on peut vraiment les corriger avant déploiement, ou si on se contente encore une fois de les observer.

RecherchePaper
1 source
ADeLe : prédire et expliquer les performances de l'IA selon les tâches
2Microsoft Research 

ADeLe : prédire et expliquer les performances de l'IA selon les tâches

Des chercheurs de Microsoft, en collaboration avec l'Université de Princeton et l'Universitat Politècnica de València, ont publié dans la revue Nature une méthode inédite d'évaluation des modèles d'IA baptisée ADeLe — pour AI Evaluation with Demand Levels. Présentée dans l'article « General Scales Unlock AI Evaluation with Explanatory and Predictive Power », cette approche évalue simultanément les tâches et les modèles selon 18 capacités fondamentales — attention, raisonnement, connaissances de domaine, métacognition, entre autres — en leur attribuant un score de 0 à 5. Appliquée à 15 grands modèles de langage dont GPT-4o et Llama-3.1, la méthode permet de prédire les performances sur des tâches inédites avec une précision d'environ 88 %. Les travaux ont bénéficié du programme de financement AFMR (Accelerating Foundation Models Research) de Microsoft. L'apport concret d'ADeLe réside dans sa capacité à dépasser les scores agrégés des benchmarks classiques, qui mesurent ce qu'un modèle réussit sans expliquer pourquoi il échoue ni anticiper ses comportements sur de nouvelles tâches. En construisant un profil de capacités pour chaque modèle — une cartographie structurée de ses forces et faiblesses — et en le confrontant aux exigences précises d'une tâche donnée, ADeLe identifie les lacunes spécifiques à l'origine des erreurs. La méthode révèle également que de nombreux benchmarks largement utilisés donnent une image incomplète, voire trompeuse : un test censé mesurer le raisonnement logique peut en réalité dépendre fortement de connaissances spécialisées ou de métacognition, faussant ainsi l'interprétation des résultats. Pour les équipes qui développent ou déploient des LLMs, cette granularité change radicalement la façon d'interpréter une évaluation. L'évaluation des LLMs souffre depuis plusieurs années d'un problème structurel : les benchmarks standard comme MMLU ou HumanEval mesurent des performances globales sur des jeux de tests fixes, sans permettre de généraliser ni de diagnostiquer. ADeLe s'inscrit dans une tendance plus large de la communauté de recherche à vouloir rendre l'évaluation plus explicable et plus prédictive, à mesure que les modèles deviennent des composants critiques dans des systèmes professionnels. La publication dans Nature — une revue généraliste de premier rang, inhabituelle pour ce type de travaux en IA — signale l'ambition scientifique du projet. Les prochaines étapes pourraient inclure l'extension du cadre à des modalités au-delà du texte, et son adoption par des organismes d'évaluation indépendants cherchant des alternatives aux classements simplistes.

UELa co-participation de l'Universitat Politècnica de València positionne ADeLe comme candidat naturel pour les organismes d'évaluation européens chargés de mettre en œuvre les exigences de l'AI Act sur la transparence et la robustesse des modèles.

💬 Les benchmarks classiques te donnent un score global, mais zéro explication sur ce qui foire et pourquoi. ADeLe décompose ça en 18 capacités mesurables, confronte le profil du modèle aux exigences précises de la tâche, et prédit les perfs à 88% sur des cas inédits, ce qui est franchement solide pour de la recherche académique. Publication dans Nature en plus, c'est le genre de signal qui dit que l'évaluation des LLMs commence enfin à être traitée comme un vrai problème scientifique.

RecherchePaper
1 source
Santé : comment l'IA pourrait transformer les remboursements en outils de prédiction médicale
3La Tribune 

Santé : comment l'IA pourrait transformer les remboursements en outils de prédiction médicale

La Direction de la recherche, des études, de l'évaluation et des statistiques (Drees) a publié une étude démontrant que des modèles d'intelligence artificielle peuvent anticiper avec précision l'apparition de pathologies lourdes en exploitant le Système national des données de santé (SNDS). Cette base de données, constituée de l'ensemble des remboursements de l'Assurance maladie française, représente l'un des gisements de données médicales les plus exhaustifs au monde, couvrant près de 70 millions d'assurés sur plusieurs décennies. L'approche clé consiste à traiter les parcours de soins, enchaînements de consultations, prescriptions, hospitalisations, comme des séquences textuelles, permettant aux algorithmes de type transformeur d'y détecter des motifs invisibles aux biostatistiques classiques. Les résultats montrent que ces modèles surpassent significativement les méthodes statistiques traditionnelles pour prédire des maladies chroniques ou des complications graves avant leur déclaration clinique. Pour les médecins et les organismes de santé publique, cela ouvre la voie à une médecine préventive ciblée : identifier les patients à risque élevé plusieurs mois à l'avance, prioriser les interventions et potentiellement réduire la charge sur les hôpitaux. Les économies potentielles pour le système de santé sont considérables, dans un contexte de déficit chronique de l'Assurance maladie. Ces avancées ne vont pas sans tensions. L'exploitation du SNDS, bien que réglementée par la CNIL et le Health Data Hub, soulève des questions persistantes sur la confidentialité des données et les risques de discrimination algorithmique, notamment envers les populations défavorisées, souvent moins bien représentées dans les parcours de soins tracés. Se pose également la question de la souveraineté industrielle : qui développe ces modèles, sur quelle infrastructure, et au bénéfice de qui ? La France dispose d'un actif stratégique rare ; encore faut-il qu'elle en garde la maîtrise.

UEL'étude de la Drees exploite directement le SNDS, base de données de l'Assurance maladie française couvrant 70 millions d'assurés, et soulève des enjeux de souveraineté industrielle et de gouvernance réglementaire (CNIL, Health Data Hub) propres à la France.

💬 Le SNDS, c'est littéralement le meilleur dataset médical du monde occidental, et on commence enfin à en faire quelque chose d'utile. Traiter des parcours de soins comme des séquences textuelles pour les passer dans des transformeurs, c'est une idée simple en apparence, mais les résultats sur la prédiction de pathologies lourdes sont solides. La vraie question, c'est pas la technique, c'est qui va capter la valeur : un acteur français, européen, ou un géant américain qui lorgne dessus depuis des années.

RecherchePaper
1 source
Cette IA peut créer de nouveaux génomes
4Sciences et Avenir Tech 

Cette IA peut créer de nouveaux génomes

Evo 2 est un modèle d'IA générative développé par l'Arc Institute en collaboration avec NVIDIA, entraîné sur 9,3 trillions de nucléotides provenant de plus de 128 000 organismes. Capable de lire, comprendre et reproduire le langage génétique, il peut désormais générer des séquences d'ADN entièrement nouvelles — des génomes fonctionnels qui n'existent pas dans la nature — avec une précision sans précédent à l'échelle du génome complet. Cette capacité représente un tournant pour la biologie de synthèse et la médecine. Concevoir des génomes sur mesure ouvre la voie à la création de micro-organismes capables de produire des médicaments, décomposer des polluants ou synthétiser des matériaux biologiques complexes. Pour la recherche médicale, cela accélère potentiellement la découverte de thérapies géniques ciblées, en permettant aux chercheurs d'explorer des espaces génétiques que l'évolution naturelle n'a jamais atteints. Ce développement s'inscrit dans une vague de modèles de fondation biologiques — après AlphaFold pour les protéines, l'IA s'attaque désormais à l'ADN lui-même. La course implique des acteurs comme Google DeepMind, Genentech et plusieurs startups de biotech computationnelle. Les enjeux éthiques sont considérables : la capacité de synthétiser des génomes inédits soulève des questions de biosécurité qui poussent déjà régulateurs et scientifiques à débattre de cadres de gouvernance adaptés.

UELes enjeux de biosécurité soulevés par la synthèse de génomes inédits poussent déjà les régulateurs européens à envisager des cadres de gouvernance spécifiques, potentiellement intégrés à l'AI Act ou à la législation biotech de l'UE.

RecherchePaper
1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour