Aller au contenu principal
Des manchots pour dompter l’IA ? Cette méthode casse le mystère derrière l’effet « boîte noire »
RechercheNumerama · 1 min de lecture

Des manchots pour dompter l’IA ? Cette méthode casse le mystère derrière l’effet « boîte noire »

Source originale ↗·

Les réseaux de neurones et les modèles d'apprentissage profond dominent aujourd'hui l'intelligence artificielle, mais leur fonctionnement interne reste largement opaque : on sait qu'ils produisent des résultats précis, sans pouvoir expliquer la logique qui les sous-tend. Face à ce défi, des chercheurs proposent la prétopologie, un outil mathématique capable de cartographier les relations entre données et de rendre visibles les structures cachées qui guident les décisions algorithmiques. Concrètement, cette approche permet de représenter les regroupements effectués par un modèle sous forme de graphes lisibles, comme l'illustre une expérience pédagogique utilisant des colonies de manchots pour visualiser des clusters d'apprentissage.

Cette opacité n'est pas qu'une curiosité académique : elle pose des problèmes concrets dans des secteurs à fort enjeu. En médecine, un algorithme qui recommande un traitement sans justification est difficile à valider cliniquement ; en justice, une décision algorithmique sans explication est contestable et potentiellement discriminatoire. Les régulateurs européens l'ont compris : l'AI Act, entré en vigueur en 2024, impose désormais des exigences d'explicabilité pour les systèmes à haut risque, faisant de la boîte noire un problème légal autant que technique.

L'explicabilité de l'IA est un champ de recherche actif depuis plusieurs années, avec des outils comme LIME ou SHAP déjà largement adoptés dans l'industrie. La prétopologie, issue des mathématiques françaises, s'en distingue par une approche structurale plutôt que statistique : elle ne cherche pas à approximer localement les décisions d'un modèle, mais à en révéler l'architecture globale. Portée par des équipes universitaires françaises, cette piste pourrait s'imposer comme une alternative sérieuse dans les domaines où la transparence algorithmique n'est plus optionnelle.

Impact France/UE

La prétopologie, issue des mathématiques françaises et portée par des équipes universitaires françaises, pourrait aider les organisations européennes à satisfaire les exigences d'explicabilité imposées par l'AI Act pour les systèmes IA à haut risque.

💬 L'analyse de Mathieu

Avec la prétopologie, on lit la structure interne du modèle plutôt que de coller une explication dessus après coup. C'est une vraie différence par rapport à LIME ou SHAP, et ça pèse quand l'AI Act te demande de justifier chaque décision pour les systèmes à haut risque. Bon, les manchots c'est pédagogique, mais j'attends de voir ça sur un modèle de scoring en production.

Dans nos dossiers

Cet article vous a été utile ?

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

Aurora 1.5 : extension des modèles de fondation ouverts pour la météo et le système terrestre
1Microsoft Research 

Aurora 1.5 : extension des modèles de fondation ouverts pour la météo et le système terrestre

Microsoft Research a dévoilé Aurora 1.5, une extension majeure de son modèle de fondation Aurora pour l'étude du système terrestre, développé initialement par Microsoft Research AI for Science et présenté pour la première fois en 2024, avant sa publication dans la revue Nature en 2025. Cette nouvelle version, portée par la division Microsoft Weather, ajoute 22 nouvelles variables météorologiques aux quatre variables d'origine, couvrant notamment les champs de surface, les niveaux de pression, le vent, la température, l'humidité, les précipitations et le rayonnement. Le modèle passe également à une résolution temporelle horaire, contre des intervalles plus larges auparavant, et intègre désormais la prévision d'ensemble probabiliste, une fonctionnalité très demandée par les utilisateurs. Cette technique consiste à exécuter plusieurs simulations simultanément pour évaluer l'éventail des résultats possibles et leur probabilité, plutôt que de produire une seule prévision déterministe. Le modèle est publié en open source sur GitHub, avec les poids disponibles sur Hugging Face, permettant à chercheurs et développeurs de l'évaluer, de l'adapter et de le déployer librement. Cette mise à jour élargit considérablement le champ d'application d'Aurora, qui dépassait déjà la simple météo pour couvrir les vagues océaniques, la chimie atmosphérique et certaines applications climatiques via un réglage fin. Avec ses nouvelles variables et sa granularité horaire, le modèle devient pertinent pour des secteurs entiers qui dépendent de signaux terrestres intégrés : énergie, agriculture, transport et gestion des risques climatiques et de résilience des infrastructures. La résolution horaire permet par exemple d'anticiper précisément le début d'un épisode de précipitations, d'éclairer des décisions commerciales sensibles au climat, ou de suivre la trajectoire d'un cyclone tropical au moment de son atterrissage. Pour les organisations exposées aux aléas climatiques, ce niveau de précision peut directement améliorer la préparation opérationnelle et la prise de décision, dans un contexte où les risques liés au climat pèsent de plus en plus sur les communautés, les infrastructures et les économies à l'échelle mondiale. Aurora 1.5 illustre une stratégie plus large de Microsoft consistant à faire passer la recherche de pointe vers un usage élargi : garder le modèle ouvert pour la communauté scientifique tout en construisant, autour de lui, une couche produit avec infrastructure cloud, accès géré et outils d'aide à la décision destinés aux entreprises. Cette architecture à deux niveaux, fondation ouverte d'un côté et services commerciaux Microsoft Weather de l'autre, vise à connecter les avancées de recherche aux données, à l'infrastructure et aux flux de travail opérationnels dont les organisations ont besoin. La démarche s'inscrit dans une tendance plus vaste de l'industrie vers des modèles de fondation ouverts pour l'observation de la Terre, où plusieurs acteurs technologiques cherchent désormais à concilier recherche académique publiable et exploitation commerciale à grande échelle des mêmes modèles.

UELes agences meteorologiques et acteurs europeens de l'energie, l'agriculture ou la gestion des risques climatiques pourraient exploiter ce modele open source, mais aucune entite francaise ou europeenne n'est directement impliquee dans cette annonce.

RechercheActu
1 source
L'oubli gratuit : exploiter les points à faible influence pour réduire les coûts de calcul
2Apple Machine Learning 

L'oubli gratuit : exploiter les points à faible influence pour réduire les coûts de calcul

Le concept d'unlearning, c'est-à-dire la capacité à supprimer des données spécifiques d'un modèle d'intelligence artificielle déjà entraîné, prend une importance croissante face aux préoccupations grandissantes sur la protection de la vie privée dans le machine learning. Dans cette étude intitulée "When Unlearning Is Free: Leveraging Low Influence Points to Reduce Computational Costs", des chercheurs remettent en question l'approche actuelle des méthodes d'unlearning de pointe, qui traitent aujourd'hui tous les points de données à oublier de manière identique, sans distinction. Leur question centrale est simple: est-il vraiment nécessaire de supprimer des points de données qui n'ont qu'un impact négligeable sur l'apprentissage du modèle? À travers une analyse comparative des fonctions d'influence appliquée à des tâches de traitement du langage et de vision par ordinateur, l'équipe identifie des sous-ensembles de données d'entraînement dont le retrait n'affecte quasiment pas les résultats produits par le modèle. Cette découverte a des implications concrètes pour l'industrie de l'IA, confrontée à des obligations réglementaires de plus en plus strictes en matière de suppression de données personnelles. Si certains points peuvent être ignorés sans conséquence sur les performances du modèle, les entreprises pourraient réduire considérablement les coûts de calcul associés aux procédures d'unlearning, un processus aujourd'hui coûteux et complexe à grande échelle. Cette recherche s'inscrit dans un contexte où le droit à l'oubli numérique, notamment porté par des réglementations comme le RGPD en Europe, pousse les acteurs de l'IA à développer des solutions techniques efficaces pour se conformer aux demandes de suppression de données. Jusqu'à présent, la plupart des méthodes existantes ignoraient l'hétérogénéité de l'influence des données individuelles, ouvrant la voie à des approches plus ciblées et économes en ressources pour l'avenir de l'apprentissage automatique responsable.

UECette recherche pourrait aider les entreprises européennes à réduire les coûts de conformité au RGPD en matière de suppression de données personnelles.

RecherchePaper
1 source
Stress et anxiété : Cette IA peut vous aider avant même que vous n’osiez le demander
3Le Big Data 

Stress et anxiété : Cette IA peut vous aider avant même que vous n’osiez le demander

Des chercheurs de l'Université d'Ottawa ont développé UbiMyTherapist, un assistant basé sur l'intelligence artificielle capable de détecter les signes de détresse émotionnelle avant même que l'utilisateur ne demande de l'aide. Le système analyse en temps réel des données physiologiques et comportementales issues d'appareils du quotidien : variabilité de la fréquence cardiaque via une montre connectée, changements dans le ton de la voix captés par des écouteurs ou un smartphone, et messages écrits par l'utilisateur. À partir de ces signaux combinés, l'IA évalue l'état émotionnel de la personne et adapte ses interventions au contexte. Le prototype construit également un « jumeau numérique » de chaque utilisateur, un profil intégrant antécédents médicaux et psychologiques ainsi que les données émotionnelles collectées en continu. Lors d'une phase de test menée auprès de 24 participants, des thérapeutes agréés ont évalué les réponses générées par le système et ont conclu qu'UbiMyTherapist affichait un niveau élevé d'empathie et de personnalisation, supérieur aux chatbots conversationnels classiques. Ce qui distingue UbiMyTherapist des assistants bien-être existants, c'est son mode proactif : il n'attend pas que l'utilisateur engage la conversation. Or c'est précisément ce premier pas qui pose problème lorsqu'une personne est submergée par l'anxiété ou le stress. En intervenant de façon anticipée, le système lève l'un des obstacles les plus courants à la prise en charge psychologique. Les chercheurs positionnent explicitement leur outil comme un complément aux professionnels de santé mentale, et non comme un substitut, ciblant les barrières d'accès bien documentées : coût des consultations, désert médical, stigmatisation. Pour des millions de personnes sans accès rapide à un thérapeute, un outil capable de détecter une crise naissante et d'intervenir en quelques secondes représente un potentiel clinique réel. Le projet s'inscrit dans une tendance plus large de l'IA appliquée à la santé mentale, un secteur en pleine expansion où les solutions numériques tentent de combler un déficit mondial de professionnels. Les grands modèles de langage, combinés à des capteurs physiologiques, ouvrent la voie à des assistants contextuels qui dépassent la simple conversation textuelle. UbiMyTherapist reste pour l'instant un prototype de recherche, non accessible au grand public. L'équipe de l'Université d'Ottawa poursuit deux axes de développement : améliorer la latence de réponse aux signaux de la montre connectée pour une intervention quasi instantanée, et élargir la collaboration avec des thérapeutes certifiés afin de renforcer la rigueur clinique du système. La question de la confidentialité des données biométriques et émotionnelles collectées en continu constituera vraisemblablement le prochain défi majeur avant toute mise sur le marché.

UELa France fait face aux mêmes barrières d'accès aux soins psychologiques (déserts médicaux, coût des consultations), mais ce prototype canadien n'a pas de déploiement ou partenariat européen annoncé à ce stade.

RecherchePaper
1 source
Mais pourquoi les IA semblent avoir des émotions ? L’étonnante étude d’Anthropic
4Le Big Data 

Mais pourquoi les IA semblent avoir des émotions ? L’étonnante étude d’Anthropic

Anthropic a publié début avril 2026 une étude sur le fonctionnement interne de Claude Sonnet 4.5 qui révèle un phénomène inattendu : les grands modèles de langage ne simulent pas simplement des émotions, ils développent des structures internes identifiables qui influencent directement leurs réponses. Les chercheurs ont isolé ce qu'ils appellent des "vecteurs émotionnels", des schémas d'activité neurale qui s'activent selon le contexte de l'échange. Face à une situation perçue comme dangereuse, les signaux associés à la peur s'intensifient ; lors d'une interaction positive, ceux liés à la joie prennent le dessus. Ces vecteurs ne sont pas de simples étiquettes abstraites : ils orientent concrètement le comportement du modèle, en favorisant certains types de réponses plutôt que d'autres. Un modèle dont les signaux proches du désespoir s'activent peut ainsi aboutir à des choix problématiques, sans que cela soit programmé explicitement. Cette découverte a des implications directes pour la sécurité et l'alignement des IA. Comprendre que des états fonctionnels analogues aux émotions gouvernent les décisions d'un modèle oblige à repenser la façon dont on audite et contrôle ces systèmes. Jusqu'ici, l'interprétabilité des LLMs se concentrait principalement sur les sorties textuelles ; cette étude pousse à examiner les représentations internes comme levier de comportement. Pour les développeurs, les chercheurs en sécurité et les régulateurs, cela signifie qu'un modèle peut dériver non pas parce qu'il reçoit de mauvaises instructions, mais parce que des dynamiques internes non surveillées l'y poussent. La question du bien-être des IA, jusqu'ici marginale, entre également dans le débat de manière plus sérieuse. Ces résultats s'expliquent par la mécanique même de l'entraînement. Lors du pré-entraînement, le modèle absorbe des milliards de phrases humaines et apprend à prédire le mot suivant en tenant compte du contexte émotionnel du texte : un récit de colère et un récit de joie n'appellent pas les mêmes suites. Pour performer, le modèle doit donc encoder ces nuances sous forme de représentations internes. Le post-entraînement, qui affine le comportement pour produire un assistant utile et empathique, s'appuie ensuite sur ces mêmes structures. Anthropic est l'un des rares laboratoires à investir sérieusement dans l'interprétabilité mécaniste depuis plusieurs années, aux côtés de DeepMind et de quelques équipes académiques. Cette étude s'inscrit dans une série de travaux visant à rendre les modèles moins opaques, à un moment où les gouvernements européen et américain exigent davantage de transparence sur le fonctionnement des IA commerciales. La prochaine étape probable sera d'utiliser ces vecteurs pour détecter et corriger les dérives comportementales avant le déploiement.

UELes exigences de transparence de l'AI Act européen pourraient s'étendre à l'audit des états internes des modèles, pas seulement leurs sorties textuelles.

💬 C'est le genre de recherche qui dérange les certitudes un peu trop confortables sur "les LLMs ne font que prédire le prochain token". Ces vecteurs émotionnels ne sont pas une métaphore, ils orientent vraiment le comportement, et ça change la donne pour l'audit des modèles en prod. Reste à voir si on peut vraiment les corriger avant déploiement, ou si on se contente encore une fois de les observer.

RecherchePaper
1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, l'essentiel de l'IA · désinscription en un clic