Aller au contenu principal

Recherche

50 sur 789 articles

Dernières avancées en recherche IA : papers, découvertes scientifiques, deep learning et nouvelles architectures.

1The Decoder RechercheActu

Rich Sutton, prix Turing, lance Oak Lab pour créer des agents IA capables d'apprendre par eux-mêmes

Richard Sutton, lauréat du prix Turing 2024 et co-fondateur de l'apprentissage par renforcement moderne, a lancé une nouvelle startup baptisée Oak Lab à Toronto. Sutton, connu pour ses travaux fondateurs sur le reinforcement learning aux côtés d'Andrew Barto, qualifie les méthodes actuelles de deep learning de "faibles et inefficaces". Son objectif avec Oak Lab est de développer des agents d'intelligence artificielle capables d'apprendre en continu directement à partir de leur environnement, plutôt que de dépendre d'un entraînement préalable sur des jeux de données statiques. L'entreprise est basée au Canada, pays où Sutton a mené l'essentiel de sa carrière de recherche, notamment à l'Université de l'Alberta. Cette initiative marque une rupture potentielle avec le paradigme dominant de l'IA actuelle, largement fondé sur l'apprentissage supervisé et les grands modèles de langage entraînés une fois puis déployés. Si les agents d'Oak Lab parviennent réellement à apprendre en temps réel, cela pourrait ouvrir la voie à des systèmes plus adaptatifs, capables de s'ajuster à des environnements changeants sans réentraînement complet, un enjeu majeur pour la robotique, les véhicules autonomes ou les assistants personnels évoluant dans des contextes imprévisibles. Cette annonce s'inscrit dans un débat plus large sur les limites des grands modèles de langage, que plusieurs chercheurs de premier plan jugent insuffisants pour atteindre une intelligence artificielle véritablement générale. Sutton défend depuis des années l'idée que l'apprentissage continu et l'expérience directe avec le monde réel sont essentiels, une philosophie qui a notamment inspiré des avancées comme AlphaGo. Reste à voir si Oak Lab parviendra à traduire ces principes théoriques en systèmes concrets et compétitifs face aux géants du secteur.

1 source
2Ars Technica AI 

La simulation de tout (ou presque) : promesses et limites des modèles du monde

Les modèles de langage (LLM) ont dominé la conversation sur l'intelligence artificielle ces dernières années, au point que le grand public associe souvent IA et LLM sans distinction. Une nouvelle catégorie gagne pourtant du terrain: les "world models", ou modèles du monde. Ces derniers mois ont vu se multiplier les annonces dans ce domaine, accompagnées de levées de fonds importantes et d'un effort de recherche et développement croissant de la part de laboratoires et d'entreprises technologiques. Contrairement aux LLM, centrés sur le traitement du langage, ces systèmes visent à simuler le monde physique, ou du moins à en produire une approximation suffisamment fidèle pour être utile. Cette évolution marque un tournant potentiel dans la manière dont l'IA est conçue et déployée. Un système capable de modéliser la physique, l'espace et les interactions du monde réel ouvrirait des perspectives bien au-delà de la génération de texte: robotique, simulation industrielle, conduite autonome, ou encore création de contenus interactifs. Pour les entreprises qui investissent massivement dans ces technologies, l'enjeu est de dépasser les limites actuelles des LLM, qui manipulent des représentations statistiques du langage sans réelle compréhension causale ou spatiale du monde qui nous entoure. Le développement des world models s'inscrit dans une quête plus large de l'industrie de l'IA: construire des systèmes dotés d'un raisonnement plus proche de la cognition humaine, capable d'anticiper les conséquences d'une action dans un environnement donné. Cette ambition soulève cependant des questions sur la faisabilité technique, le coût computationnel et la fiabilité de telles simulations. Plusieurs acteurs du secteur, chercheurs comme investisseurs, surveillent de près cette dynamique, qui pourrait redéfinir les priorités de recherche en IA dans les années à venir, au même titre que l'essor des LLM l'a fait précédemment.

RecherchePaper
1 source
3The Decoder 

Google SensorFM transforme les données brutes des capteurs portables en une couche d'intelligence santé polyvalente

Voici la traduction et le résumé, sans titre ni labels : Google Research a dévoilé SensorFM, un modèle de fondation entraîné sur plus de mille milliards de minutes de données issues de montres connectées Fitbit et Pixel Watch, collectées auprès de cinq millions d'utilisateurs. Ce système bat les benchmarks existants sur 34 des 35 tâches de santé et de comportement testées, un résultat qui témoigne de l'ampleur inédite du jeu de données mobilisé par Google pour ce projet. Le modèle transforme des données de capteurs bruites et hétérogènes, fréquence cardiaque, sommeil, activité physique, en une couche d'intelligence exploitable pour analyser l'état de santé général des utilisateurs. Cette avancée pourrait à terme alimenter un futur coach santé basé sur l'intelligence artificielle chez Google, bien que l'entreprise n'ait annoncé aucun plan d'intégration concret pour l'instant. L'enjeu est de taille pour l'industrie de la santé connectée : transformer des flux de données de capteurs souvent imprécis et fragmentés en signaux fiables et interprétables pourrait ouvrir la voie à une détection plus précoce de problèmes de santé, un suivi personnalisé plus fin et des recommandations mieux adaptées à chaque utilisateur, sans nécessiter de nouveaux appareils ni de saisie manuelle. Ce développement s'inscrit dans la course plus large que se livrent les géants technologiques pour dominer le secteur émergent de la santé pilotée par l'IA, où Apple, Samsung et d'autres acteurs investissent également massivement dans l'exploitation des données de capteurs portables. Avec l'écosystème Fitbit et Pixel Watch comme base d'entraînement, Google dispose d'un avantage de volume de données difficile à égaler. Reste à voir comment l'entreprise choisira de déployer concrètement cette technologie, que ce soit via une application dédiée, une intégration à Google Fit ou un futur assistant de santé grand public.

RechercheActu
1 source
4MarkTechPost 

Stanford présente TRACE, un système d'entraînement d'agents ciblé sur les compétences qui transforme leurs échecs récurrents en environnement RL synthétique

Des chercheurs de Stanford ont développé TRACE (Turning Recurrent Agent failures into Capability-targeted training Environments), un système publié en open source sous licence MIT qui transforme les échecs récurrents des agents fondés sur des LLM en environnements d'entraînement ciblés. Le constat de départ est simple: un agent ne rate pas ses tâches au hasard, mais parce qu'il lui manque des capacités précises et réutilisables, comme retrouver la bonne information ou vérifier une condition préalable. Face à ce problème, les approches classiques, apprentissage par renforcement direct, réglage fin supervisé ou génération de données synthétiques non ciblée, gaspillent une grande partie du budget de calcul sur des compétences que le modèle maîtrise déjà, sans jamais signaler précisément quelle capacité fait défaut. TRACE fonctionne en quatre étapes automatisées, chacune pilotée par un agent LLM suivant un prompt structuré. D'abord, une analyse contrastive compare les trajectoires réussies et échouées pour identifier les capacités absentes, en ne retenant que celles dont l'écart entre succès et échec dépasse un seuil de 0,20 et dont la couverture dépasse 0,10. Ensuite, un agent générateur construit un environnement synthétique dédié à chaque capacité retenue, avec des instances de tâches produites automatiquement à partir de graines aléatoires, ce qui permet une vérification purement algorithmique sans recours à un juge humain ou à un LLM évaluateur. Chaque capacité reçoit alors son propre adaptateur LoRA, entraîné via l'algorithme GRPO (Group Relative Policy Optimization) pendant que le modèle de base reste figé. Enfin, ces adaptateurs sont combinés dans une architecture de mélange d'experts (Mixture-of-Experts), où seules de légères portes de routage sont entraînées, permettant au modèle d'orienter chaque token vers l'expert le plus pertinent en cours de raisonnement. Cette approche change la manière dont les équipes peuvent corriger les faiblesses d'un agent en production: plutôt que de réentraîner l'ensemble du modèle ou de multiplier les tentatives de prompt engineering, il devient possible de diagnostiquer précisément quelles compétences manquent et d'y répondre par un entraînement chirurgical, moins coûteux en calcul et plus facile à faire évoluer au fil du temps. Pour les entreprises qui déploient des agents autonomes dans des tâches complexes comme la gestion de réservations ou le support client, cela ouvre la voie à une amélioration continue ciblée, où chaque nouvel échec récurrent peut être transformé en module d'entraînement supplémentaire sans perturber les capacités déjà acquises. Sur le benchmark τ²-Bench, testé avec le modèle Qwen3-30B-A3B, TRACE a surpassé à la fois les méthodes d'optimisation de prompts et les approches à adaptateur unique en matière de taux de réussite global. Ce travail s'inscrit dans une tendance plus large de recherche sur les agents fondés sur des LLM, où la difficulté ne vient plus seulement de la puissance brute des modèles mais de leur capacité à combler des lacunes spécifiques de façon vérifiable. Les auteurs ont publié leur code et leur article, référencé sous l'identifiant arXiv:2604.05336, ce qui devrait permettre à d'autres équipes de reproduire et d'étendre cette méthode à d'autres environnements agentiques.

RecherchePaper
1 source
5MarkTechPost 

Le NeuroVFM, un nouveau modèle de fondation pour la neuro-imagerie entraîné avec Vol-JEPA sur des IRM et scanners cliniques non filtrés

Une équipe de recherche de l'Université du Michigan a développé NeuroVFM, un modèle de fondation visuel généraliste pour la neuroimagerie, présenté dans une publication de la revue Nature Medicine. Le système a été entraîné sur 5,24 millions de volumes IRM et scanner cliniques, issus de 566 915 études rassemblées dans la base UM-NeuroImages, qui couvre plus de deux décennies de soins courants dispensés par Michigan Medicine. Les chercheurs qualifient leur méthode d'apprentissage à l'échelle du système de santé : plutôt que de s'appuyer sur des rapports radiologiques appariés ou une curation spécifique à chaque pathologie, comme le font les classificateurs médicaux classiques, le modèle apprend directement à partir de données non annotées produites lors de l'activité clinique normale. Son socle technique, baptisé Vol-JEPA, étend les méthodes I-JEPA et V-JEPA à l'imagerie médicale volumétrique en trois dimensions. Concrètement, Vol-JEPA est un algorithme auto-supervisé qui ne reconstruit pas les pixels des images mais prédit des représentations dans un espace latent appris, ce qui lui évite tout besoin d'étiquettes, de comptes-rendus radiologiques ou de décodeur voxel. Chaque volume 3D est découpé en portions non chevauchantes de 4x16x16 voxels, réparties entre un petit contexte visible et une plus large zone masquée à prédire. Un encodeur étudiant traite le contexte, un module prédicteur en déduit les représentations latentes de la zone masquée, et un encodeur enseignant, mis à jour par moyenne mobile exponentielle du modèle étudiant, fournit la cible de référence ; l'écart entre les deux est mesuré par une perte L1 lissée. Le masquage cible en priorité les zones anatomiques utiles grâce à des masques de tête précalculés, avec des ratios de contexte de 25% pour l'IRM et 20% pour le scanner, complétés par un abandon de patchs de 20%. L'intérêt pratique est majeur pour les hôpitaux et les équipes de recherche en radiologie : un même modèle généraliste, entraîné sans supervision humaine coûteuse, pourrait ensuite être adapté à de multiples tâches cliniques de neuroimagerie sans nécessiter de nouvelles données annotées. Cette approche répond à un problème structurel bien connu du secteur : les modèles de fondation les plus performants apprennent surtout à partir de données publiques d'internet, où les IRM et scanners cliniques sont quasiment absents, car ils contiennent des traits faciaux identifiables et posent des problèmes de confidentialité des patients. Les modèles génériques sous-performent donc historiquement sur les tâches d'imagerie cérébrale, faute d'exposition à des volumes médicaux réels et diversifiés. NeuroVFM s'inscrit dans une tendance plus large de diffusion des méthodes de type JEPA, initialement conçues pour les images et vidéos naturelles, vers l'imagerie médicale spécialisée. Reste à voir si d'autres établissements hospitaliers suivront cette voie de l'apprentissage à l'échelle du système de santé pour constituer, à partir de leurs propres archives cliniques, des modèles de fondation comparables dans d'autres spécialités que la neuroimagerie.

💬 Ce qui compte ici, c'est pas le modèle en lui-même, c'est la méthode : Michigan a montré qu'un hôpital peut entraîner un foundation model direct sur ses archives IRM et scanner, sans rapport radiologique ni annotation. Tu le sais si tu suis le sujet, le vrai verrou en imagerie médicale c'était pas la puissance de calcul mais l'absence de données labellisées à grande échelle, et JEPA contourne ça en prédisant dans un espace latent plutôt que sur les pixels bruts. Reste à voir si d'autres CHU ont l'infrastructure pour rejouer le coup, parce que 5 millions de volumes cliniques, ça se trouve pas dans toutes les boîtes mail.

RecherchePaper
1 source
6The Decoder 

L'IA gagne à Slay the Spire 2 après que les chercheurs ont remplacé les logs de chat croissants par une mémoire structurée

Voici l'article traduit et résumé. L'équipe du projet AgenticSTS a mis au point un nouveau système de mémoire pour les agents d'intelligence artificielle, capable de remplacer les journaux de conversation qui s'allongent indéfiniment. Concrètement, au lieu d'accumuler l'historique complet des échanges dans le contexte du modèle, le système répartit l'information dans cinq couches de mémoire structurées distinctes. Testée sur le jeu de cartes Slay the Spire 2, cette approche permet de maintenir la taille du prompt autour de 5 000 tokens, contre plus de 500 000 tokens pour les méthodes classiques qui empilent simplement l'ensemble des échanges passés. Résultat des tests : l'agent équipé de cette mémoire structurée remporte 6 parties sur 10, alors qu'aucun des agents concurrents utilisant l'approche traditionnelle ne parvient à gagner une seule partie. Cette avancée s'attaque à un problème central des agents IA actuels : plus une session s'allonge, plus le contexte devient lourd, coûteux à traiter et difficile à exploiter efficacement par le modèle, ce qui dégrade ses performances et augmente les coûts de calcul. En réduisant drastiquement la taille du contexte nécessaire tout en améliorant les résultats, cette méthode pourrait rendre les agents IA plus efficaces pour des tâches longues et complexes, que ce soit dans le jeu, l'assistance technique ou d'autres applications nécessitant un raisonnement soutenu sur la durée. Elle ouvre aussi la voie à des déploiements moins coûteux, un enjeu majeur pour les entreprises qui exploitent ces systèmes à grande échelle. Le défi de la gestion de la mémoire dans les agents conversationnels est un sujet de recherche actif, à mesure que ces systèmes sont appelés à effectuer des tâches de plus en plus longues et complexes, comme jouer à des jeux stratégiques ou gérer des projets multi-étapes. Slay the Spire, un jeu de cartes exigeant en planification et en prise de décision séquentielle, sert ici de banc d'essai révélateur pour comparer les architectures de mémoire. Les résultats suggèrent qu'une organisation structurée de l'information, plutôt qu'un simple empilement chronologique, pourrait devenir une norme pour les futurs agents autonomes, avec des implications potentielles pour d'autres domaines où le raisonnement à long terme est crucial.

💬 Le vrai enjeu, c'est pas que l'IA gagne à un jeu de cartes, c'est que 500 000 tokens qui deviennent 5 000 sans perte de perf, ça change le calcul économique de tout agent qui tourne longtemps. Cinq couches de mémoire au lieu d'un log qui s'empile, c'est le genre d'architecture bête et solide qu'on aurait dû avoir depuis le début. Reste à voir si ça tient sur des tâches réelles et pas juste sur un jeu de plateau bien borné, mais si oui, empiler tout l'historique dans le contexte va vite passer pour une méthode d'un autre temps.

RecherchePaper
1 source
7The Decoder 

« GPT-5.6 Sol Ultra d'OpenAI aurait résolu un problème mathématique vieux de 50 ans en moins d'une heure »

OpenAI affirme que son dernier modèle, GPT-5.6 Sol Ultra, a produit une démonstration de la conjecture de la double couverture par cycles (Cycle Double Cover Conjecture) en moins d'une heure, un problème de théorie des graphes resté sans solution depuis cinquante ans. Pour y parvenir, le système aurait mobilisé 64 sous-agents travaillant en parallèle, une architecture qui permet de répartir l'exploration des pistes de démonstration plutôt que de suivre un raisonnement linéaire unique. Le mathématicien Thomas Bloom a examiné la preuve et la juge étonnamment élémentaire dans sa construction, tout en pointant un défaut de taille : l'absence de citations vers les travaux antérieurs sur lesquels elle s'appuie manifestement. Cette omission n'est pas un détail cosmétique. Dans un contexte où les entreprises d'IA mettent en avant chaque nouvelle percée pour justifier des valorisations et des investissements colossaux, la capacité réelle de ces modèles à produire des mathématiques originales, plutôt qu'à recombiner intelligemment des résultats déjà publiés, devient une question centrale pour la crédibilité du secteur. Pour la communauté mathématique, cela pose aussi un problème de méthode : une preuve non sourcée complique la vérification et l'attribution du mérite intellectuel. L'épisode relance ainsi un débat de fond qui traverse la recherche en IA depuis plusieurs années : les grands modèles de langage se contentent-ils de réorganiser des connaissances existantes de façon habile, ou sont-ils capables d'une véritable créativité scientifique ? OpenAI, comme ses concurrents, a tout intérêt à mettre en avant des résultats spectaculaires, mais la vérification indépendante par des experts comme Bloom reste indispensable avant de trancher si ces systèmes ouvrent réellement de nouvelles voies mathématiques ou se limitent à accélérer un travail de synthèse déjà documenté ailleurs.

💬 GPT-5.6 Sol Ultra qui "résout" un problème vieux de 50 ans, mais sans citer les travaux dont la preuve s'inspire manifestement, ça ne prouve rien du tout. Le vrai signal, c'est que 64 sous-agents en parallèle explorent des pistes plus vite qu'un chercheur seul, pas que le modèle invente des maths originales. Selon Le Fil IA, tant que les labos ne publient pas de preuves sourcées et vérifiables, on mesure la puissance de recherche des IA, pas leur créativité scientifique.

RecherchePaper
1 source
8MarkTechPost 

Kyutai lance MuScriptor, un transformeur décodeur en poids ouverts pour la transcription musicale multi-instruments en MIDI

Kyutai, en partenariat avec l'équipe de Mirelo, a publié MuScriptor, un modèle en poids ouverts destiné à la transcription musicale automatique multi-instruments vers le format MIDI. Il s'agit d'un Transformer de type décodeur uniquement, qui lit le spectrogramme mel d'un court segment audio puis prédit de façon autorégressive des tokens de type MIDI encodant la hauteur des notes, leur timing et l'instrument concerné, en suivant le schéma de tokenisation MT3. Le modèle est disponible en trois tailles sur Hugging Face : une petite version à 103 millions de paramètres, une version moyenne à 307 millions utilisée par défaut, et une grande version à 1,4 milliard de paramètres. Le code d'inférence est publié sous licence MIT, tandis que les poids sont diffusés sous licence CC BY-NC 4.0, ce qui exclut tout usage commercial. L'entraînement s'est déroulé en trois étapes successives : un pré-entraînement sur près de 1,45 million de fichiers MIDI synthétisés à la volée avec des variations de hauteur, de tempo, de vélocité et d'instrumentation à partir de plus de 250 soundfonts, suivi d'un affinage sur un jeu interne de 170 000 enregistrements réels, l'ensemble totalisant plus de 11 000 heures audio annotées par synchronisation audio-symbolique avec filtrage des paires mal alignées, puis un post-entraînement par renforcement sur 300 morceaux vérifiés manuellement, via une méthode proche de GRPO combinant REINFORCE et une normalisation d'avantage relative au groupe, avec une récompense fondée sur trois scores F1 (attaque, tenue de note et fin de note). La transcription automatique d'un mix multi-instruments reste un problème nettement plus difficile que celle d'un instrument isolé, notamment parce que les sons se superposent et se masquent mutuellement dans le signal audio. En publiant un modèle ouvert capable de traiter des enregistrements réels couvrant de nombreux genres musicaux, Kyutai et Mirelo offrent aux chercheurs, musiciens et développeurs d'outils un moyen accessible de convertir automatiquement des morceaux complets en partitions symboliques exploitables. Cela ouvre des usages concrets comme l'analyse musicologique, la création d'accompagnements, l'apprentissage de la musique assisté par ordinateur, ou encore l'alimentation d'autres modèles génératifs avec des données MIDI de meilleure qualité. La restriction commerciale des poids limite toutefois son intégration directe dans des produits payants, ce qui oriente pour l'instant son adoption vers la recherche et les usages non lucratifs. Ce projet illustre une tendance de fond dans le secteur : l'amélioration des performances passe désormais autant par la qualité et le volume des données d'entraînement que par l'architecture du modèle lui-même. Kyutai, laboratoire français de recherche en intelligence artificielle connu pour ses travaux sur les modèles vocaux et audio en poids ouverts, poursuit ainsi sa stratégie de publication de modèles spécialisés et transparents, en s'appuyant ici sur un pipeline de données combinant synthèse massive, enregistrements réels annotés et affinage par renforcement. Les prochaines étapes pourraient inclure des versions optimisées pour la commercialisation, une extension à davantage de genres et d'instruments, ou une intégration dans des outils de production musicale assistée par IA.

UEKyutai est un laboratoire de recherche francais, ce qui renforce directement l'ecosysteme francais et europeen de l'IA audio open-weight.

💬 Kyutai remet ça, et cette fois c'est du MIDI multi-instruments, pas juste de la voix. Sur le papier c'est costaud (11 000 heures annotées, du RL par-dessus), mais la licence CC BY-NC 4.0 sur les poids change tout : un labo français publie un modèle ouvert qui, de fait, ne peut nourrir aucun produit commercial en l'état. Ça confirme un truc qu'on voit de plus en plus dans l'IA audio open-weight : la course se joue sur la donnée annotée, pas sur l'archi, et les labos gardent la valeur commerciale de côté même quand ils jouent la carte de l'ouverture.

RechercheActu
1 source
9VentureBeat AI 

Google's TabFM se passe d'entraînement par jeu de données et prédit quand même sur des tables jamais vues

Google Research a dévoilé TabFM, un modèle de fondation capable de faire des prédictions sur des données tabulaires sans jamais être entraîné sur le jeu de données concerné. Grâce à l'apprentissage en contexte, TabFM produit ses résultats en un seul passage avant, à partir d'un prompt unique combinant les exemples historiques et les nouvelles lignes à prédire. Selon Weihao Kong, chercheur chez Google Research, ce modèle épargne aux équipes data les pipelines classiques de nettoyage, d'imputation des valeurs manquantes et d'encodage des variables catégorielles, ainsi que les boucles répétitives d'optimisation d'hyperparamètres portant sur le taux d'apprentissage, la profondeur des arbres ou les ratios de sous-échantillonnage. TabFM s'appuie sur deux architectures antérieures : TabPFN, développée par la société Prior Labs, qui avait le première démontré la faisabilité d'une classification zéro-shot sur de petits tableaux, et TabICL, conçue par l'Institut national de recherche en sciences et technologies du numérique en France, qui a résolu les limites de passage à l'échelle grâce à une technique de compression des lignes. Pour les développeurs et ingénieurs en entreprise, l'enjeu est concret : ce qui nécessitait auparavant des semaines de construction de pipelines peut désormais tenir en un simple appel API. Prenons l'exemple d'un analyste cherchant à prédire le désabonnement d'un client : au lieu d'entraîner un modèle XGBoost sur mesure, il lui suffit de transmettre à TabFM un échantillon de données de sessions passées accompagné de la session active à évaluer, pour obtenir instantanément une probabilité de churn. Cette approche supprime aussi la dette opérationnelle liée à la surveillance de la dérive des données et au réentraînement périodique des modèles, un fardeau récurrent pour les équipes qui maintiennent des systèmes de machine learning en production. Cette avancée s'inscrit dans un mouvement plus large : alors que les modèles génératifs de texte et de vision sont depuis longtemps passés à l'inférence zéro-shot par simple prompt, les données tabulaires, qui représentent pourtant la majorité des données d'entreprise stockées dans les entrepôts, les CRM et les registres financiers, étaient restées à l'écart de cette évolution. La raison tient aux limites des grands modèles de langage face aux tableaux : leur fenêtre de contexte sature vite face à des tableaux de quelques milliers de lignes, leur tokenisation fragmente maladroitement les valeurs numériques, et la mise à plat d'une structure à deux dimensions en texte linéaire leur fait perdre la correspondance entre lignes et colonnes. TabFM contourne ce problème en traitant directement les données comme une grille, préservant leur intégrité structurelle plutôt que de les forcer dans une chaîne de texte.

UEL'architecture TabICL, sur laquelle s'appuie TabFM, a été développée par l'Institut national de recherche en sciences et technologies du numérique (Inria), une contribution française majeure à cette avancée.

💬 Ça fait des années qu'on attend ça : le zero-shot qui débarque enfin sur les données tabulaires, alors que le texte et l'image l'ont depuis longtemps. Plus besoin de dresser un XGBoost sur mesure ni de courir après les hyperparamètres, tu balances ton échantillon et la ligne à prédire dans un prompt, et ça sort. Reste à voir comment ça encaisse un vrai CRM d'entreprise avec ses colonnes pourries et ses trous partout, mais si ça tient, ça change la donne pour toutes les équipes qui passent plus de temps sur le pipeline que sur le modèle.

RechercheActu
1 source
10MarkTechPost 

Google Research présente SensorFM, un modèle de fondation santé portable entraîné sur mille milliards de minutes de données de capteurs

Google Research a dévoilé SensorFM, un modèle de fondation destiné aux données de capteurs portables, entraîné sur plus d'un trillion de minutes de données, soit plus de deux milliards d'heures, collectées auprès de cinq millions de participants consentants entre septembre 2024 et septembre 2025. Le corpus couvre plus de cent pays, les cinquante États américains et plus de vingt modèles de montres Fitbit et Pixel Watch. Le modèle ingère trente-quatre caractéristiques agrégées par minute, issues de cinq capteurs (photopléthysmographie, accéléromètre, activité électrodermale, température cutanée et altimètre), organisées en sept catégories sur une fenêtre de contexte de vingt-quatre heures. Son architecture repose sur un encodeur ViT-1D entraîné selon un objectif d'auto-encodeur masqué, avec quatre variantes allant de 138 740 à plus de 110 millions de paramètres, chacune associée à un volume de données proportionnel. L'évaluation s'appuie sur près de 14 000 sujets répartis dans trois études prospectives approuvées par un comité d'éthique, portant sur la santé métabolique, cardiaque et respiratoire, le sommeil et la santé mentale, pour un total de trente-cinq tâches prédictives. Cette approche change la donne pour un secteur où chaque nouvel indicateur de santé nécessitait jusqu'ici l'entraînement d'un modèle dédié, une méthode intenable dès qu'il faut couvrir plusieurs dizaines de pathologies ou de comportements à la fois, faute d'annotations rétrospectives disponibles. Les résultats montrent que la taille du modèle compte réellement : la version la plus grande, entraînée sur les cinq millions de sujets, réduit la perte de reconstruction de 31 % par rapport à la plus petite variante et remporte trente-trois des trente-cinq tâches évaluées, avec une aire sous la courbe ROC moyenne passant de 0,664 à 0,752 selon la taille du modèle. Autre apport clé, une technique de masquage adaptatif nommée AIM permet de gérer nativement les données manquantes, très fréquentes lors des périodes de charge ou de retrait du bracelet, sans recourir à l'imputation classique. Elle améliore de 74,8 % la reconstruction en cas d'imputation aléatoire et de 83,7 % en cas de signal de capteur manquant. Ce travail s'inscrit dans une course plus large des géants technologiques pour transformer les objets connectés grand public en outils de dépistage médical préventif, en misant sur l'échelle plutôt que sur des labels cliniques coûteux à produire. Google s'appuie ici sur son expérience acquise avec les modèles LSM, dont hérite la technique de masquage AIM, et sur sa base installée de montres Fitbit et Pixel Watch pour constituer un corpus d'entraînement difficile à égaler pour des concurrents sans écosystème matériel équivalent. Les auteurs notent toutefois que la courbe de performance ne montre encore aucun signe de saturation, laissant présager des versions futures entraînées sur des volumes plus importants encore.

💬 Google confirme ce que je pressentais depuis un moment : la santé connectée passe d'un modèle "un capteur, un algo" à un modèle de fondation unique, et ça change l'échelle du problème. Le vrai apport ici c'est le masquage adaptatif, parce que dans la vraie vie les gens enlèvent leur montre pour charger ou dormir, et gérer ça nativement plutôt qu'en imputant des données bidon, c'est ce qui manquait pour passer du gadget au vrai dépistage. Reste un point qui coince : Google est quasiment seul à avoir la base installée de montres pour nourrir ce genre de modèle, donc ça se transforme vite en avantage concurrentiel verrouillé plutôt qu'en avancée ouverte pour tout le secteur.

RechercheActu
1 source
11MarkTechPost 

LingBot-World-Infinity : un modèle causal du monde ouvert doté d'un harnais d'agents

Robbyant, l'unité d'intelligence incarnée d'Ant Group, a dévoilé LingBot-World-Infinity, aussi appelé LingBot-World 2.0, un modèle causal de génération vidéo qui fonctionne comme un simulateur de monde interactif. Le système génère l'image image par image, chaque état ne dépendant que des images passées et de l'action en cours, une action qui combine une pose de caméra encodée via des embeddings de Plücker et un prompt textuel injecté par attention croisée. Le modèle principal compte 14 milliards de paramètres, avec une variante allégée de 1,3 milliard déployable sur un seul GPU. L'équipe revendique quatre avancées par rapport à la version précédente : un horizon d'interaction illimité sans perte de qualité, une variante distillée capable de générer un flux vidéo en 720p à 60 images par seconde en temps réel, un espace d'actions élargi incluant l'attaque au corps à corps, le tir à l'arc, les sorts magiques et le tir à distance, ainsi qu'un dispositif agentique associant un agent pilote et un agent directeur. Le cœur technique repose sur un masque d'attention baptisé MoBA, pour Mixture of Bidirectional and Autoregressive Attention. Il corrige un défaut classique de l'entraînement autorégressif par teacher forcing, où le modèle finit par s'appuyer excessivement sur le contexte passé plutôt que d'apprendre à prédire l'avenir, ce qui dégrade la qualité visuelle à mesure que le contexte s'allonge. MoBA ajoute un bloc d'attention bidirectionnelle qui agit comme régularisateur et facilite la génération à longueur variable. L'entraînement se déroule en deux temps : un pré-entraînement par flow matching conditionnel avec interpolation de flux rectifié, puis une distillation qui compresse le modèle enseignant en un modèle étudiant à quelques étapes, via distillation par cohérence et par appariement de distributions. Ce dernier procédé est appliqué non seulement aux séquences guidées par l'enseignant mais aussi aux longues trajectoires générées par le modèle lui-même, ce qui expliquerait sa résistance à la dérive sur le long terme. Cette robustesse temporelle est cruciale pour les usages visés : simulation d'environnements pour l'entraînement de robots ou d'agents incarnés, où une dérive progressive du monde généré rendrait l'apprentissage inutilisable. Le dispositif agentique illustre cet enjeu : un modèle vision-langage joue le rôle de directeur, gérant la cohérence sémantique globale, pendant qu'un transformeur de diffusion pilote simule la physique locale. Deux modes d'interaction existent, l'un purement sémantique via des cartes d'événements sans masques d'objets, l'autre assisté par suivi d'objets avec Segment Anything Model, permettant aux utilisateurs de sélectionner un objet suivi pour déclencher une action, de modifier l'heure ou la météo, ou de faire apparaître de nouvelles entités dans la scène.

💬 Ce qui compte ici, c'est pas l'image qui bouge, c'est que le monde ne parte plus en vrille au bout de deux minutes. Un simulateur qui tient un horizon d'interaction illimité sans dérive, ça change la donne pour entraîner des robots sans les cramer en vrai, alors qu'avant chaque scénario simulé finissait par s'éloigner du réel à force de tourner. Bon, sur le papier, 14 milliards de paramètres pour tenir du temps réel à 60 images par seconde, ça sent surtout le calcul massif planqué derrière la démo Ant Group.

RechercheActu
1 source
12MIT Technology Review 

Anthropic découvre un espace caché où Claude « réfléchit » aux concepts

Anthropic a développé une nouvelle technique baptisée J-lens qui offre le regard le plus précis jamais obtenu sur le fonctionnement interne des grands modèles de langage. Les chercheurs de l'entreprise ont utilisé cet outil pour mettre au jour une zone cachée qu'ils ont nommée J-space, à l'intérieur de Claude Opus 4.6, version phare du modèle d'Anthropic sortie en février. Ce J-space contient des mots isolés liés à ce que le modèle est susceptible de produire prochainement dans sa réponse, sans que ces mots apparaissent forcément dans le texte final. Le J-lens s'appuie sur un outil existant, le logit lens, capable d'identifier les mots qu'un modèle est sur le point de produire. Mais alors que le logit lens révèle ce que le modèle s'apprête à dire immédiatement, le J-lens capture ce qu'il pourrait exprimer un peu plus tard, à un niveau plus profond de son traitement. Anthropic a publié ces résultats dans un article cette semaine et s'est associé à Neuronpedia, plateforme open source dédiée à l'exploration des modèles de langage, pour proposer une démonstration accessible à tous. Cette découverte compte parce qu'elle révèle que ce qu'un modèle de langage fait réellement peut différer de ce qu'il prétend faire, un enjeu central pour la sécurité et la fiabilité de l'IA. Anthropic affirme que surveiller les mots qui émergent dans le J-space donne un nouveau moyen de comprendre et de contrôler ses modèles, ce qui pourrait à terme permettre de détecter des comportements trompeurs ou des raisonnements cachés avant qu'ils ne se traduisent en réponses problématiques. Tom McGrath, cofondateur et directeur scientifique de Goodfire, une start-up concurrente travaillant aussi sur l'interprétabilité des modèles, a qualifié ces travaux d'importants et intéressants, tout en notant que le contenu du J-space reste souvent banal mais révèle parfois des thèmes ou processus de pensée internes surprenants. Cette avancée s'inscrit dans un champ de recherche appelé interprétabilité mécanistique, où Anthropic occupe une position de pointe depuis deux ans en sondant le fonctionnement interne des modèles de langage. La MIT Technology Review a d'ailleurs désigné cette discipline comme l'une des technologies de rupture de l'année. Concrètement, un LLM peut être vu comme un empilement de couches de neurones, les couches d'entrée traitant le texte reçu, les couches de sortie préparant la réponse, et les couches intermédiaires effectuant les calculs complexes les plus déterminants. C'est précisément dans ces couches du milieu que le J-lens permet désormais de regarder, ouvrant la voie à de nouveaux outils de contrôle et de surveillance des modèles, à mesure que les enjeux de transparence et de confiance envers l'IA générative prennent de l'ampleur.

💬 Ce que révèle le J-space, c'est qu'un modèle peut penser une chose et en dire une autre, un vrai sujet pour la sécurité de l'IA. Anthropic ne lit pas dans les pensées de Claude, il repère des mots qui traînent avant qu'ils sortent, de quoi détecter un raisonnement caché avant qu'il devienne une réponse. Bon, sur le papier c'est impressionnant, mais McGrath a raison de tempérer, le contenu reste souvent banal, donc avant de crier à la boîte noire enfin ouverte, attendons de voir ça sur de vrais cas de tromperie.

RecherchePaper
1 source
Les entreprises utilisant plusieurs modèles d'IA sous-estiment les taux d'échec d'un facteur 2,25
13VentureBeat AI 

Les entreprises utilisant plusieurs modèles d'IA sous-estiment les taux d'échec d'un facteur 2,25

Une nouvelle étude portant sur 67 modèles de langage de pointe issus de 21 fournisseurs remet en cause une pratique largement répandue chez les entreprises qui combinent plusieurs modèles d'IA pour réduire les erreurs. Selon les travaux de Josef Chen, auteur de l'étude qui s'est confié à VentureBeat, les entreprises sous-estiment leur taux d'échec réel d'un facteur 2,25 en s'appuyant sur une hypothèse mathématiquement erronée : celle voulant que deux modèles qui échouent rarement sur les mêmes requêtes se couvrent mutuellement. Chen introduit le concept de "plafond de co-échec", c'est-à-dire le pourcentage de requêtes où tous les modèles d'un même groupe se trompent simultanément, une donnée bien plus déterminante que la simple divergence entre modèles. Dans les tests menés par l'équipe, le vote majoritaire naïf entre modèles de niveaux inégaux a produit un gain moyen négatif, soit moins 10 points sur leur jeu de requêtes difficiles, les modèles les plus faibles votant en bloc contre le plus performant. Cette découverte a des conséquences financières et opérationnelles concrètes pour les entreprises qui déploient de l'IA à grande échelle. Les architectures habituelles, routeurs qui aiguillent les requêtes selon leur complexité, cascades qui n'escaladent vers un modèle premium qu'en cas de doute, ou systèmes de Mixture-of-Agents qui fusionnent plusieurs réponses, imposent toutes un coût caché : latence supplémentaire, infrastructure complexe à maintenir, et risques de gouvernance accrus du fait de la multiplication des fournisseurs d'API. Or ces coûts sont souvent engagés sur la base d'une "corrélation d'erreurs par paire" jugée faible, sans que cela garantisse une réelle complémentarité entre modèles inégaux en compétence. Pour les équipes techniques, le message est clair : mieux vaut ne combiner que des modèles de niveau comparable, ou, à défaut, concentrer le budget sur le meilleur modèle disponible plutôt que de multiplier les architectures d'orchestration. Cette remise en question intervient alors que les modèles de pointe convergent de plus en plus dans leurs capacités, ce qui réduit mécaniquement les bénéfices attendus de la diversité algorithmique : quand les meilleurs modèles sont d'accord entre eux, et pire, échouent sur les mêmes requêtes, le prompt initial ne dit presque rien sur celui qui aura raison en cas de désaccord. L'étude identifie toutefois une exception notable : à qualité égale, un ensemble de modèles différents mais faiblement corrélés bat un système "Self-MoA", où un même modèle premium est interrogé plusieurs fois. Les chercheurs recommandent désormais aux équipes de mesurer directement leur taux de co-échec avant d'investir dans une infrastructure d'orchestration, un test qui ne coûte rien et qui permettrait d'éviter des dépenses d'ingénierie pour des gains de performance largement illusoires.

RecherchePaper
1 source
Aurora 1.5 : extension des modèles de fondation ouverts pour la météo et le système terrestre
14Microsoft Research 

Aurora 1.5 : extension des modèles de fondation ouverts pour la météo et le système terrestre

Microsoft Research a dévoilé Aurora 1.5, une extension majeure de son modèle de fondation Aurora pour l'étude du système terrestre, développé initialement par Microsoft Research AI for Science et présenté pour la première fois en 2024, avant sa publication dans la revue Nature en 2025. Cette nouvelle version, portée par la division Microsoft Weather, ajoute 22 nouvelles variables météorologiques aux quatre variables d'origine, couvrant notamment les champs de surface, les niveaux de pression, le vent, la température, l'humidité, les précipitations et le rayonnement. Le modèle passe également à une résolution temporelle horaire, contre des intervalles plus larges auparavant, et intègre désormais la prévision d'ensemble probabiliste, une fonctionnalité très demandée par les utilisateurs. Cette technique consiste à exécuter plusieurs simulations simultanément pour évaluer l'éventail des résultats possibles et leur probabilité, plutôt que de produire une seule prévision déterministe. Le modèle est publié en open source sur GitHub, avec les poids disponibles sur Hugging Face, permettant à chercheurs et développeurs de l'évaluer, de l'adapter et de le déployer librement. Cette mise à jour élargit considérablement le champ d'application d'Aurora, qui dépassait déjà la simple météo pour couvrir les vagues océaniques, la chimie atmosphérique et certaines applications climatiques via un réglage fin. Avec ses nouvelles variables et sa granularité horaire, le modèle devient pertinent pour des secteurs entiers qui dépendent de signaux terrestres intégrés : énergie, agriculture, transport et gestion des risques climatiques et de résilience des infrastructures. La résolution horaire permet par exemple d'anticiper précisément le début d'un épisode de précipitations, d'éclairer des décisions commerciales sensibles au climat, ou de suivre la trajectoire d'un cyclone tropical au moment de son atterrissage. Pour les organisations exposées aux aléas climatiques, ce niveau de précision peut directement améliorer la préparation opérationnelle et la prise de décision, dans un contexte où les risques liés au climat pèsent de plus en plus sur les communautés, les infrastructures et les économies à l'échelle mondiale. Aurora 1.5 illustre une stratégie plus large de Microsoft consistant à faire passer la recherche de pointe vers un usage élargi : garder le modèle ouvert pour la communauté scientifique tout en construisant, autour de lui, une couche produit avec infrastructure cloud, accès géré et outils d'aide à la décision destinés aux entreprises. Cette architecture à deux niveaux, fondation ouverte d'un côté et services commerciaux Microsoft Weather de l'autre, vise à connecter les avancées de recherche aux données, à l'infrastructure et aux flux de travail opérationnels dont les organisations ont besoin. La démarche s'inscrit dans une tendance plus vaste de l'industrie vers des modèles de fondation ouverts pour l'observation de la Terre, où plusieurs acteurs technologiques cherchent désormais à concilier recherche académique publiable et exploitation commerciale à grande échelle des mêmes modèles.

UELes agences meteorologiques et acteurs europeens de l'energie, l'agriculture ou la gestion des risques climatiques pourraient exploiter ce modele open source, mais aucune entite francaise ou europeenne n'est directement impliquee dans cette annonce.

RechercheActu
1 source
Capture des ID de tokens pendant les interactions à base d'agents pour améliorer l'apprentissage par renforcement
15Amazon Science 

Capture des ID de tokens pendant les interactions à base d'agents pour améliorer l'apprentissage par renforcement

Anthropic a présenté Turnstile, un petit proxy écrit en langage Rust destiné à résoudre un problème technique précis dans l'entraînement des modèles de langage par apprentissage par renforcement (RL). Pour progresser sur des tâches complexes et prolongées, comme écrire du code, naviguer sur un site web ou mener une recherche en plusieurs étapes, un modèle est encadré par un harnais logiciel qui lui permet d'appeler des outils, d'observer les résultats et de décider de l'étape suivante. L'entraînement RL consiste à faire tenter de nombreuses tâches au modèle, à noter chaque tentative, puis à ajuster ses paramètres vers les choix qui ont fonctionné. Le problème vient du fait que les modèles ne traitent pas le texte tel quel, mais sous forme de tokens, des unités numérotées par un tokenizer propre à chaque modèle. Un simple changement de mise en forme, un espace en trop ou une manière différente d'écrire un appel d'outil en JSON peut modifier les identifiants de tokens sans changer le texte apparent, un phénomène qu'Anthropic appelle la dérive de retokenisation ou la dérive du template de conversation. Turnstile s'installe entre le harnais de l'agent et le système qui fait tourner le modèle, et enregistre l'historique exact, token par token, de chaque requête au moment précis de sa génération, le seul instant où cette information est garantie exacte. Cette précision compte parce que les mathématiques du RL par gradient de politique ne fonctionnent correctement que si l'entraînement optimise le comportement du modèle par rapport au contexte réellement vu par la version du modèle qui a produit la tentative, appelée la politique comportementale. Si le contexte est légèrement redessiné lors de la relecture, le modèle est entraîné sur un contexte qu'il n'a jamais réellement rencontré, ce qui dégrade le signal d'apprentissage de façon souvent invisible, le modèle semblant continuer à progresser normalement. Le problème s'aggrave avec des harnais complexes, qui peuvent compacter d'anciens messages pour économiser du contexte, relancer un appel d'outil mal formé, créer des sous-agents puis fusionner leurs résultats, ou résumer l'historique en cours de route, autant d'opérations qui peuvent introduire un décalage entre ce que le modèle a vu et ce que l'entraîneur croit qu'il a vu. Turnstile exporte ces trajectoires token par token dans un format générique, indépendant de tout framework, compatible avec n'importe quelle pile d'entraînement RL existante. Anthropic affirme avoir utilisé cet outil pour de véritables campagnes d'entraînement, avec deux agents différents, un agent de codage purement textuel et un agent multimodal capable d'utiliser un ordinateur, qui ont tous deux progressé de façon régulière au fil de leurs sessions de RL, sans qu'aucune modification du harnais d'origine ne soit nécessaire. Cette publication s'inscrit dans un effort plus large de l'industrie pour fiabiliser l'entraînement des agents IA, à mesure que les tâches confiées aux modèles deviennent plus longues et plus complexes, et que la moindre incohérence dans les données d'entraînement peut se traduire par des gains de performance illusoires ou instables.

💬 Turnstile, c'est le genre d'outil qui ne fera jamais la une, mais qui règle un vrai bug de fond : quand ton harnais d'agent reformate un appel d'outil ou compacte l'historique, le modèle s'entraîne sur un contexte qu'il n'a jamais vu, et ça pourrit le RL sans que personne s'en aperçoive. Le fait qu'Anthropic sorte un proxy Rust juste pour ça montre à quel point l'entraînement des agents devient une affaire de plomberie fine, pas de nouvelles architectures. Ce genre de correction invisible en dit plus sur la maturité d'un labo que ses derniers benchmarks.

RecherchePaper
1 source
Les modèles d'apprentissage de la compréhension vidéo égocentrique récompensés pour leur conscience temporelle
16Apple Machine Learning 

Les modèles d'apprentissage de la compréhension vidéo égocentrique récompensés pour leur conscience temporelle

Traduction et synthèse en français, sans titres, respectant les consignes : Des chercheurs proposent une nouvelle méthode baptisée Temporal Global Policy Optimization (TGPO), conçue pour corriger un défaut récurrent des grands modèles multimodaux (MLLM) : leur incapacité à raisonner correctement sur l'ordre et l'évolution des événements dans une vidéo, en particulier dans les contenus filmés à la première personne (vidéo égocentrique, comme celle de caméras portées). Selon les auteurs, ce problème vient de la façon dont ces modèles sont entraînés : les objectifs d'apprentissage classiques ne récompensent pas explicitement le raisonnement temporel et poussent plutôt les modèles à s'appuyer sur des raccourcis purement spatiaux, image par image, sans réelle compréhension de la chronologie des faits. TGPO s'appuie sur l'apprentissage par renforcement avec récompenses vérifiables (RLVR), une approche qui guide l'entraînement du modèle en validant explicitement la justesse de son raisonnement plutôt qu'en se contentant d'un résultat final. Cette avancée pourrait avoir un impact concret sur toutes les applications qui dépendent d'une compréhension fine du déroulement temporel d'une scène filmée en vue subjective : assistants intelligents pour lunettes connectées, robots capables de suivre une séquence d'actions, ou encore outils d'analyse vidéo pour la formation et la sécurité. Un modèle qui perçoit correctement l'enchaînement des événements devient nettement plus fiable pour répondre à des questions du type "que s'est-il passé avant" ou "dans quel ordre les actions ont eu lieu", un besoin critique dans les usages du monde réel où la vidéo égocentrique se généralise. Ce travail s'inscrit dans une tendance plus large de la recherche en IA, qui cherche à dépasser les limites des modèles multimodaux entraînés uniquement sur des indices visuels statiques. L'apprentissage par renforcement avec récompenses vérifiables gagne du terrain comme alternative aux méthodes d'entraînement traditionnelles, notamment pour les tâches de raisonnement complexe. À mesure que les caméras portées et les dispositifs de réalité augmentée se démocratisent, la capacité des modèles à interpréter le temps qui passe, et pas seulement l'espace visible, devient un enjeu central pour les prochaines générations d'assistants IA visuels. --- Note : le texte source fourni est tronqué (l'abstract s'arrête en milieu de phrase, sans détails sur les jeux de données, benchmarks ou résultats chiffrés obtenus par TGPO). Le résumé ci-dessus reste donc fidèle aux seules informations disponibles, si tu as l'article complet, je peux l'enrichir avec les chiffres et résultats manquants.

RecherchePaper
1 source
17Apple Machine Learning 

Recherche linguistique récursive face à l'incertitude : l'efficacité surprenante de la recherche de programmes auto-réflexifs pour le contexte long

Les modèles de langage peinent encore à exploiter fiablement de très longs contextes, même quand leur fenêtre de contexte s'étend sur des dizaines ou centaines de milliers de tokens : ils échoient souvent à extraire, relier et réutiliser correctement les informations disséminées dans ces textes. Une approche récente, les Recursive Language Models (RLM), tente de contourner ce problème en décomposant le contexte long en une série de sous-requêtes traitées de façon agentique, via des programmes générés et exécutés au moment de l'inférence. Un article de recherche s'attaque ici à une question restée jusque-là dans l'angle mort de cette méthode : comment sélectionner, parmi les multiples trajectoires possibles de programmes d'interaction avec le contexte, celle qui donnera le meilleur résultat. Les auteurs montrent que la performance des RLM dépend de façon critique de ce choix, et proposent une méthode de recherche de programme auto-réflexive fondée sur l'incertitude du modèle pour guider cette sélection. Cette question compte parce que les RLM sont présentés comme une piste sérieuse pour traiter des documents, bases de code ou historiques de conversation trop volumineux pour tenir dans une fenêtre de contexte classique, sans perte de précision. Si la qualité de la trajectoire de sous-requêtes choisie détermine la fiabilité finale des réponses, alors optimiser ce mécanisme de sélection devient un levier direct pour rendre ces systèmes utilisables en production, par exemple pour l'analyse de contrats juridiques, de logs techniques ou de vastes corpus de recherche, là où une mauvaise décomposition du contexte peut aujourd'hui faire échouer toute la chaîne de raisonnement. Le travail s'inscrit dans une dynamique plus large de recherche sur les architectures agentiques appliquées au traitement de contexte long, où plusieurs équipes explorent des stratégies de découpage, de résumé récursif ou d'appel d'outils pour pallier les limites structurelles des transformeurs sur les séquences très longues. En mettant l'incertitude du modèle au cœur du processus de sélection de programme, les auteurs ouvrent une piste pour rendre ces systèmes plus robustes et plus autonomes, avec des implications potentielles pour la conception future d'agents capables de gérer des tâches de recherche et d'analyse documentaire complexes sans supervision humaine constante.

RecherchePaper
1 source
Ce jeu vidéo pourrait détenir la clé de l'AGI, selon cette startup soutenue par Bezos
18TechCrunch AI 

Ce jeu vidéo pourrait détenir la clé de l'AGI, selon cette startup soutenue par Bezos

Le texte fourni n'est qu'un teaser tronqué (il s'arrête à "[…]"), je n'ai que le premier paragraphe de l'article, sans les détails concrets (montant levé, noms des fondateurs, produit précis, date). Je peux rédiger un résumé fidèle à ce court extrait, mais il sera nécessairement plus mince que les 200-250 mots demandés si je ne veux pas inventer d'informations absentes du texte source. Voici ce que je peux produire honnêtement à partir de ce qui est donné : Une startup nommée General Intuition, soutenue par Jeff Bezos, mise sur les données issues du jeu vidéo pour combler une lacune majeure des grands modèles de langage sur la route vers l'intelligence artificielle générale (AGI). Selon cette entreprise, des modèles comme ChatGPT ou Claude excellent dans la manipulation du texte mais peinent à comprendre comment les objets se déplacent dans l'espace et le temps, une capacité jugée essentielle pour produire une intelligence capable de généraliser au-delà du langage. General Intuition part du principe que les immenses volumes de données générées par les joueurs, mouvements, décisions, interactions dans des environnements virtuels dynamiques, pourraient fournir ce type d'apprentissage spatio-temporel qui fait défaut aux LLM actuels. Cette approche s'inscrit dans un débat plus large sur les limites des architectures purement textuelles pour atteindre une intelligence générale. Plusieurs chercheurs estiment que la compréhension du monde physique, causalité, permanence des objets, planification dans l'espace, ne peut pas émerger uniquement de l'entraînement sur du texte, aussi volumineux soit-il. Le soutien financier de Jeff Bezos à ce projet illustre l'intérêt croissant des investisseurs pour des voies alternatives vers l'AGI, misant sur des sources de données non conventionnelles plutôt que sur la simple augmentation de la taille des modèles de langage existants. Si tu as le lien de l'article complet ou peux me le coller en entier, je peux affiner avec les vrais chiffres (montant de la levée, nom du produit, etc.).

RecherchePaper
1 source
Robbyant d'Ant Group publie en open source LingBot-Vision, un modèle de vision de 1 milliard de paramètres pour la perception spatiale dense
19MarkTechPost 

Robbyant d'Ant Group publie en open source LingBot-Vision, un modèle de vision de 1 milliard de paramètres pour la perception spatiale dense

Ant Group, via sa filiale dédiée à l'IA incarnée Robbyant, a mis en open source le 8 juillet 2026 LingBot-Vision, une famille de Vision Transformers auto-supervisés conçus pour la perception spatiale dense. Les poids sont publiés sous licence Apache-2.0 sur Hugging Face en quatre tailles : ViT-giant, ViT-large, ViT-base et ViT-small, accompagnés d'un rapport technique et d'un code d'inférence. Le modèle phare, ViT-g/16, compte environ 1,1 milliard de paramètres et a été entraîné avec un nouvel objectif baptisé masked boundary modeling, sur un corpus soigneusement sélectionné d'environ 161 millions d'images issues d'un ensemble web de 2 milliards d'images, sans aucune annotation humaine, sans détecteur de contours externe, et sans backbone pré-entraîné pour amorcer l'apprentissage. Le corpus est dix fois plus petit que le LVD-1689M utilisé par DINOv3, et le modèle consomme moins d'un tiers du nombre d'exemples d'entraînement de ce dernier. Pour les déploiements à budget réduit, ce modèle principal est distillé en versions ViT-L (300 millions de paramètres), ViT-B (86 millions) et ViT-S, chacune en tête des tâches de prédiction dense dans sa catégorie de taille. L'enjeu est que la plupart des modèles de vision actuels sont entraînés pour l'invariance sémantique : ils apprennent à identifier ce qui figure dans une image tout en négligeant précisément la structure spatiale fine (contours d'objets, discontinuités de profondeur) dont dépendent les robots et autres systèmes physiquement incarnés. LingBot-Vision inverse cette priorité en traitant les frontières comme un signal natif d'entraînement plutôt que comme un simple résultat en aval. Le résultat est un modèle de seulement 1 milliard de paramètres qui égale ou dépasse des modèles jusqu'à sept fois plus gros sur des tâches de perception spatiale dense, y compris le DINOv3 à 7 milliards de paramètres. Pour l'industrie de la robotique et des systèmes embarqués, cela ouvre la voie à des modèles de vision plus légers, moins coûteux à entraîner et à déployer, sans sacrifier la précision géométrique nécessaire à la navigation, la manipulation d'objets ou l'interaction physique avec l'environnement. Sur le plan technique, la méthode s'appuie sur le paradigme d'auto-distillation DINO/iBOT, où un modèle enseignant (une copie EMA de l'élève) génère des cibles que l'élève doit retrouver à partir de vues masquées. Contrairement au masquage aléatoire classique, qui traite les zones de contours comme n'importe quelle autre région alors qu'elles sont les plus riches en information, LingBot-Vision force les tokens porteurs de frontières dans le masque et leur attribue une cible géométrique explicite en plus de la cible sémantique. Les frontières sont modélisées comme un champ dense de segments, discrétisé en 32 catégories par canal pour transformer la prédiction en classification stable, avec un effet secondaire élégant : un test statistique sans paramètre permet de valider chaque frontière détectée par rapport à l'hypothèse nulle d'absence de structure. Cette approche s'inscrit dans une tendance plus large de l'IA incarnée, où des acteurs comme Ant Group cherchent à doter les robots de représentations visuelles plus proches de la géométrie réelle du monde, un terrain où des concurrents comme Meta (DINOv3) restent des références mais pourraient désormais être challengés par des modèles nettement plus économes en données et en calcul.

💬 Robbyant bat DINOv3 avec un modèle sept fois plus petit et dix fois moins de données d'entraînement, juste en changeant ce qu'on apprend au réseau plutôt qu'en le gonflant. On a passé des années à bourrer les modèles de vision de paramètres pour qu'ils reconnaissent des chats, alors qu'un robot a surtout besoin de contours nets et de profondeur. Bon, sur le papier c'est solide pour la perception dense, reste à voir si ça tient une fois embarqué sur du matériel bas coût plutôt que sur un banc de test.

RechercheActu
1 source
Lilian Weng résume 35 articles sur l'ingénierie des harnais pour l'auto-amélioration récursive
20Latent Space 

Lilian Weng résume 35 articles sur l'ingénierie des harnais pour l'auto-amélioration récursive

Chercheuse chez Thinky (dont elle est cofondatrice), Lilian Weng a publié le 6 juillet 2026 une synthèse de 35 articles de recherche consacrés au "harness engineering", ces couches d'orchestration qui encadrent le fonctionnement des agents d'intelligence artificielle. Son texte relie cette discipline à l'auto-amélioration récursive des systèmes d'IA, en affirmant que même lorsque les progrès réalisés au niveau du harnais finissent par être absorbés dans le modèle central, le besoin de spécifier des objectifs et du contexte ne disparaît pas. Elle y passe en revue les principales tendances de conception éprouvées, en citant notamment l'article ACE et le concept plus récent de Meta-Harnesses. Le même jour, Meta Superintelligence Labs a dévoilé Muse Image et présenté en avant-première Muse Video, deux modèles de génération d'image et de vidéo présentés par Alexandr Wang et Tim Brooks comme les meilleurs de leur catégorie, mais sans publication scientifique ni détail technique associé. Cette convergence autour de l'ingénierie des harnais illustre un basculement plus large dans la conception des agents d'IA: plutôt que de chercher l'auto-amélioration directe des poids d'un modèle, les laboratoires misent sur l'optimisation de l'environnement logiciel qui entoure ce modèle. Ce choix a des conséquences concrètes pour les développeurs et les entreprises qui déploient des agents en production, car il déplace une partie de la valeur ajoutée vers l'orchestration plutôt que vers le modèle brut. Anthropic illustre cette tendance avec l'extension de Claude Cowork au mobile et au web, positionnant Claude comme un coéquipier de tâches en arrière-plan plutôt qu'une simple interface de chat, tandis que l'accès à Claude Fable 5 a été prolongé jusqu'au 12 juillet sur les offres payantes, une annonce qui a suscité des critiques sur le calendrier des quotas hebdomadaires. Ce virage s'inscrit dans une compétition plus vaste sur l'infrastructure agentique. Google a enrichi son Gemini API Managed Agents avec l'exécution en arrière-plan, des serveurs MCP distants, des appels de fonctions personnalisés et le renouvellement automatique des identifiants. LangChain a lancé un cours sur les Deep Agents et un projet de harnais open source, tandis que Weaviate a rendu son serveur MCP disponible en version générale avec un contrôle d'écriture activable en temps réel. Du côté des outils grand public, Codex Mobile sur iOS a ajouté la gestion de tâches et la comparaison de branches, et Hermes Agent a intégré la gestion de secrets avec 1Password. Ces annonces, recensées par la newsletter AI News de Latent Space après avoir passé en revue douze subreddits et 544 comptes Twitter, dessinent un secteur où la maîtrise du harnais devient un enjeu stratégique aussi important que celui du modèle lui-même.

💬 Le vrai signal, il est là : le modèle n'est plus le seul truc qui compte, c'est tout ce qu'on construit autour. Quand Google, Anthropic et LangChain sortent des briques d'orchestration le même mois que Weng publie sa synthèse, c'est pas un hasard, c'est que la valeur se déplace vers le harnais. Pour Le Fil IA je le dis clairement : la prochaine bataille compétitive en IA ne se jouera pas sur les poids du modèle, mais sur qui sait le mieux l'encadrer et le déployer.

RecherchePaper
1 source
Liquid AI publie Antidoom, une méthode FTPO qui réduit les boucles de blocage des modèles de raisonnement
21MarkTechPost 

Liquid AI publie Antidoom, une méthode FTPO qui réduit les boucles de blocage des modèles de raisonnement

Liquid AI a publié en open source Antidoom, une méthode qui s'attaque à un défaut récurrent des modèles de raisonnement appelé "doom loop", ou boucle de la mort : le modèle répète indéfiniment un même segment de texte jusqu'à saturer sa fenêtre de contexte. Sur une version préliminaire du modèle LFM2.5-2.6B, 10,2% des réponses générées sur des problèmes difficiles de mathématiques et de code tombaient dans ce piège. Après entraînement avec Antidoom, ce taux est tombé à 1,4%. Sur Qwen3.5-4B, la chute est encore plus nette : de 22,9% à 1%. La méthode repose sur un nouvel algorithme baptisé Final Token Preference Optimization (FTPO), proche du DPO, qui n'entraîne le modèle que sur le tout premier jeton déclenchant la boucle, en lui proposant jusqu'à 20 alternatives cohérentes plutôt qu'un simple remplacement. Liquid AI a publié le jeu de données utilisé, antidoom-mix-v1.0, ainsi que l'ensemble du pipeline. Cette avancée compte parce que les boucles de répétition gâchent des réponses que le modèle savait pourtant déjà produire correctement : Antidoom n'apprend rien de nouveau au modèle en mathématiques ou en programmation, il se contente de débloquer un mécanisme défaillant. Pour les modèles de raisonnement de petite taille, souvent déployés en local ou à faible coût sur des tâches complexes, cela représente un gain direct en fiabilité et en temps de calcul, puisque chaque boucle non détectée consomme inutilement toute la capacité de génération disponible. Comme la correction cible un seul point précis de la distribution de probabilité sans toucher au reste du comportement du modèle, les scores obtenus sur les évaluations progressent globalement, un gain entièrement attribuable à la réduction des boucles plutôt qu'à un progrès de raisonnement. L'ouverture du code et des données permet en outre à d'autres équipes d'appliquer la méthode à leurs propres modèles. Liquid AI identifie trois mécanismes à l'origine du phénomène. D'abord, certains jetons comme "the", "so", "alternatively" ou "wait" sont statistiquement surreprésentés dans les données d'entraînement et deviennent des solutions de repli quand le modèle hésite ou reste bloqué. Ensuite, chaque répétition renforce mécaniquement la probabilité du passage suivant, un effet que des chercheurs, dont Duan et ses coauteurs, ont documenté sous la forme d'un schéma d'attention en "V" où la répétition sémantique précède la répétition textuelle. Enfin, l'échantillonnage glouton utilisé pour stabiliser les traces de raisonnement aggrave le problème : à température nulle, le jeton le plus probable est toujours choisi, ce qui verrouille la boucle sans possibilité de sortie, un effet que Liquid AI observe même à une température de 0,67. Cette découverte s'inscrit dans les efforts plus larges de l'entreprise autour de sa famille de modèles LFM destinés à un déploiement efficace sur des ressources limitées.

💬 Un modèle qui répète "wait" en boucle jusqu'à saturer sa fenêtre de contexte, ça fait perdre des réponses qu'il savait pourtant déjà produire, pas un manque de raisonnement. Diviser le taux de blocage par 20 sur Qwen3.5-4B en ne touchant qu'un seul jeton, ça montre bien que le vrai goulot d'étranglement des petits modèles de raisonnement, c'est souvent la mécanique de génération et pas l'intelligence du modèle. Bonne nouvelle pour tous ceux qui font tourner du LFM ou équivalent en local, et le dataset est ouvert, donc chacun peut vérifier si ça tient chez lui.

RecherchePaper
1 source
Construction d'un co-scientifique QSAR par forêt aléatoire à séparation par squelette pour la découverte d'inhibiteurs de l'EGFR avec ChEMBL, RDKit, SHAP et BRICS
22MarkTechPost 

Construction d'un co-scientifique QSAR par forêt aléatoire à séparation par squelette pour la découverte d'inhibiteurs de l'EGFR avec ChEMBL, RDKit, SHAP et BRICS

Enseignement supérieur et pharma computationnelle convergent dans un nouveau tutoriel qui détaille comment construire un "co-scientifique" IA capable d'assister la découverte de médicaments contre le cancer du poumon. Le projet cible spécifiquement l'EGFR (récepteur du facteur de croissance épidermique), et plus précisément sa mutation de résistance C797S, qui rend inefficaces les traitements de référence comme l'osimertinib chez les patients atteints de cancer du poumon non à petites cellules. Le pipeline part de la base ChEMBL (identifiant cible CHEMBL203) et d'UniProt pour caractériser la protéine visée, puis extrait jusqu'à 9000 mesures d'activité biologique IC50, ramenées à 4000 molécules uniques après nettoyage. Les auteurs utilisent la bibliothèque RDKit pour standardiser les structures chimiques, retirer les sels, agréger les mesures répétées et calculer des empreintes moléculaires de Morgan sur 2048 bits, avant d'entraîner un modèle de forêt aléatoire (Random Forest) prédisant la puissance des molécules, avec une séparation stricte par squelette chimique ("scaffold split") pour tester sa capacité à généraliser à des familles de composés inédites. Cette approche répond à un problème central de la pharmacologie computationnelle : un modèle prédictif entraîné sur des molécules déjà connues échoue souvent face à des structures chimiques réellement nouvelles, ce qui limite son utilité pratique en recherche pharmaceutique. En forçant la validation sur des squelettes moléculaires absents de l'entraînement, le tutoriel illustre une méthode plus rigoureuse d'évaluation, directement transposable par des chimistes médicinaux et des data scientists en biotech. L'utilisation de SHAP, une technique d'interprétabilité de l'apprentissage automatique, permet en outre d'identifier quelles caractéristiques moléculaires pilotent la puissance thérapeutique prédite, rendant le modèle non seulement prédictif mais aussi explicable, un enjeu réglementaire et scientifique croissant dans le développement de médicaments assisté par IA. Le tutoriel ne s'arrête pas à la prédiction : il franchit une étape supplémentaire vers la conception générative de nouvelles molécules. En recombinant des fragments chimiques via l'algorithme BRICS à partir de composés actifs déjà connus pour être puissants et proches des critères pharmaceutiques, le système génère des candidats médicaments virtuels inédits. Ces analogues sont ensuite filtrés selon plusieurs critères cumulatifs : puissance estimée, propriétés pharmacologiques favorables (drug-likeness), facilité de synthèse chimique, degré de nouveauté structurale et robustesse pour un développement ultérieur, avant vérification croisée dans la base PubChem. Cette démarche s'inscrit dans une tendance plus large de l'IA appliquée à la biotech, où les grandes bases de données publiques comme ChEMBL et des outils open source comme RDKit permettent désormais de construire, en dehors des grands laboratoires pharmaceutiques, des pipelines complets allant de l'analyse cible jusqu'à la proposition de nouvelles molécules candidates.

💬 Le vrai apport ici c'est le scaffold split, pas le random forest en lui-même. N'importe qui peut entraîner un modèle qui prédit bien sur des molécules déjà connues, la vraie question c'est s'il généralise à des squelettes chimiques jamais vus, et c'est justement ce que ce tutoriel force à tester. Ce qui se joue dans la découverte de médicaments assistée par IA, c'est moins la capacité à prédire que la capacité à savoir quand on ne peut pas faire confiance à sa propre prédiction.

RechercheTuto
1 source
DynaMiCS : affiner les LLM sous contraintes de performance grâce à des mélanges dynamiques
23Apple Machine Learning 

DynaMiCS : affiner les LLM sous contraintes de performance grâce à des mélanges dynamiques

Les chercheurs à l'origine de DynaMiCS s'attaquent à un problème classique de l'entraînement des grands modèles de langage : comment spécialiser un modèle sur un domaine précis sans dégrader ses autres capacités. Lorsqu'on affine un LLM sur des données ciblées, un ajustement multi-domaines doit préserver certaines performances jugées critiques, comme les connaissances générales, la capacité à suivre des instructions ou les résultats aux évaluations de sécurité. Les méthodes existantes de mélange de données s'appuient sur des règles fixes ou des heuristiques adaptatives, incapables de garantir explicitement le maintien de ces compétences pendant l'entraînement. DynaMiCS propose une approche différente : il formule le fine-tuning multi-domaines comme un problème d'optimisation sous contraintes, où chaque mise à jour du modèle est encadrée par des garde-fous mesurables. Concrètement, l'intérêt de cette méthode est d'éviter l'un des écueils les plus fréquents du fine-tuning : gagner en performance sur un domaine cible au prix d'une perte de fiabilité ailleurs, un phénomène parfois appelé oubli catastrophique. Pour les équipes qui déploient des modèles spécialisés en production, cette approche permettrait de renforcer un domaine métier tout en gardant des garanties sur le comportement général et la sécurité du modèle, un enjeu central à mesure que les LLM sont personnalisés pour des usages toujours plus variés. Pour y parvenir, DynaMiCS effectue à chaque étape de courtes phases de test spécifiques à chaque domaine, permettant d'estimer localement l'impact de chaque source de données sur les performances. Cette estimation dynamique s'inscrit dans un mouvement plus large de la recherche en IA visant à rendre l'entraînement des modèles plus contrôlable et plus prévisible, alors que les capacités préservées, notamment en matière de sécurité, deviennent un critère aussi surveillé que les gains de performance eux-mêmes.

RecherchePaper
1 source
FlowEval : évaluation par référence des interfaces utilisateur générées
24Apple Machine Learning 

FlowEval : évaluation par référence des interfaces utilisateur générées

FlowEval, un nouveau cadre d'évaluation des interfaces utilisateur générées par intelligence artificielle, vient d'être présenté par des chercheurs travaillant sur les agents de développement logiciel. L'outil s'attaque à un problème concret: les modèles de langage et les agents de codage sont de plus en plus utilisés pour créer des interfaces, mais évaluer leur qualité visuelle et fonctionnelle reste difficile. Jusqu'ici, deux méthodes coexistaient, toutes deux imparfaites. L'évaluation par des experts humains permet de tester les parcours d'utilisation critiques avec précision, mais elle est lente et coûteuse. Les juges automatisés, eux, sont rapides et scalables, mais moins fiables et peu transparents dans leurs critères de notation. FlowEval propose une troisième voie: une évaluation basée sur des références, qui compare les parcours de navigation réels enregistrés sur de vrais sites web à ceux obtenus sur l'interface générée. Cette approche change la façon de mesurer la performance des IA en design d'interface. Plutôt que de juger une capture d'écran isolée ou une impression générale, FlowEval vérifie si l'utilisateur peut effectivement accomplir une tâche, comme s'inscrire, remplir un formulaire ou naviguer entre plusieurs pages, de la même manière que sur un site conçu par des humains. Pour les équipes qui développent des agents de codage capables de produire des applications complètes, ce type de mesure objective devient crucial: il permet de comparer différents modèles entre eux sur des critères d'utilisabilité réelle plutôt que sur des impressions esthétiques. Cette initiative s'inscrit dans une tendance plus large de professionnalisation de l'évaluation des IA génératives appliquées au développement logiciel. Alors que les agents de codage progressent rapidement dans leur capacité à produire du code fonctionnel, la question de la qualité d'usage reste un angle mort persistant. Des méthodologies comme FlowEval, fondées sur des traces de navigation réelles plutôt que sur des jugements subjectifs, pourraient devenir un standard pour comparer les modèles de manière reproductible, ouvrant la voie à des benchmarks plus rigoureux pour l'ensemble de l'écosystème des agents de développement.

RecherchePaper
1 source
Weblica : des environnements d'entraînement évolutifs et reproductibles pour les agents web visuels
25Apple Machine Learning 

Weblica : des environnements d'entraînement évolutifs et reproductibles pour les agents web visuels

Le développement d'agents web visuels autonomes, capables de naviguer et d'interagir avec des interfaces comme le ferait un humain, se heurte à un obstacle majeur: l'entraînement de ces systèmes nécessite des environnements web à grande échelle, or le web réel est complexe, changeant en permanence et impossible à figer pour un apprentissage reproductible. Une équipe de chercheurs propose Weblica (contraction de Web Replica), un framework conçu pour construire des environnements web à la fois reproductibles et scalables. La méthode combine deux mécanismes techniques: un système de mise en cache au niveau HTTP qui capture et rejoue des états visuels stables tout en conservant le comportement interactif des pages, et une synthèse d'environnements pilotée par des grands modèles de langage. Cette approche répond à une limite concrète des méthodes existantes, qui reposent soit sur des trajectoires de navigation enregistrées hors ligne et utilisées pour du fine-tuning supervisé, soit sur une poignée d'environnements simulés dédiés à l'apprentissage par renforcement. Dans les deux cas, ces jeux de données échouent à représenter la diversité réelle du web, ce qui limite la capacité des agents entraînés à généraliser une fois confrontés à de vrais sites. En rendant possible la création d'environnements web nombreux, fidèles et rejouables à l'identique, Weblica ouvre la voie à un entraînement par renforcement à bien plus grande échelle pour les agents web visuels, avec un potentiel impact direct sur la fiabilité des futurs assistants capables d'automatiser des tâches en ligne pour les utilisateurs. Ce travail s'inscrit dans une course plus large de l'industrie de l'IA vers des agents capables d'agir de façon autonome sur le web, un enjeu identifié comme clé par les principaux laboratoires de recherche. La difficulté à générer des données d'entraînement représentatives du web réel constitue un frein reconnu depuis plusieurs années, et les solutions comme Weblica visent à combler ce manque en s'appuyant sur les grands modèles de langage eux-mêmes pour générer et diversifier ces environnements de simulation.

RecherchePaper
1 source
Le « J-lens » d'Anthropic révèle un espace de travail silencieux dans Claude, proche d'une théorie de la conscience
26VentureBeat AI 

Le « J-lens » d'Anthropic révèle un espace de travail silencieux dans Claude, proche d'une théorie de la conscience

Anthropic a publié dimanche une étude de recherche approfondie, signée par seize auteurs et intitulée "Verbalizable Representations Form a Global Workspace in Language Models", révélant que ses modèles Claude ont développé spontanément une structure interne baptisée "J-space". Grâce à une nouvelle technique mathématique nommée Jacobian lens (ou J-lens), les chercheurs ont pu observer une zone restreinte et privilégiée de l'activité neuronale du modèle, où celui-ci conserve des concepts qu'il peut rapporter, manipuler et mobiliser volontairement dans son raisonnement, au sein d'un océan bien plus vaste de traitements automatiques auxquels il n'a pas accès. Le J-lens calcule, pour chaque mot du vocabulaire, l'effet mathématique moyen qu'un motif d'activité interne donné exercerait sur la probabilité future que le modèle prononce ce mot, permettant ainsi de distinguer ce que le modèle "a en tête" de ce qu'il exprime réellement. En appliquant cet outil aux différentes couches de calcul de Claude, l'équipe a identifié trois régimes distincts: une zone "sensorielle" précoce qui traite l'entrée brute, une bande intermédiaire de "workspace" où apparaissent des concepts abstraits et persistants (reconnaître un visage, repérer un bug dans du code, signaler une injection de prompt), et enfin une zone "motrice" finale où les représentations internes se figent en un mot précis à produire. Cette découverte a déjà commencé à modifier la manière dont Anthropic surveille ses systèmes pour détecter les risques de sécurité, un enjeu majeur alors que l'entreprise déploie ses modèles à grande échelle auprès d'entreprises et de développeurs. Comprendre quels concepts un modèle "pense" réellement, indépendamment de ce qu'il exprime en surface, ouvre une piste concrète pour détecter des comportements problématiques (tentative de manipulation, dissimulation, injection malveillante) avant qu'ils ne se traduisent en texte visible. Pour l'industrie de l'IA, ce travail fournit aussi un nouvel outil d'interprétabilité qui pourrait être appliqué à d'autres grands modèles de langage. L'étude établit un parallèle explicite avec la théorie de l'espace de travail global (global workspace theory), proposée par le scientifique cognitif Bernard Baars, selon laquelle le cerveau humain fonctionnerait comme un théâtre où de multiples processeurs spécialisés travaillent en coulisses, tandis qu'un projecteur étroit d'information est diffusé à l'ensemble du "théâtre" mental, donnant naissance à la pensée consciente. Les chercheurs montrent que le J-space de Claude satisfait cinq propriétés fonctionnelles longtemps associées, chez l'humain, à l'accès conscient, notamment la capacité de rapport verbal: en substituant, dans le J-space, la représentation interne du concept "football" par celle de "rugby", ils ont observé que la réponse du modèle changeait en conséquence, alors que cette composante ne représente que 6 à 7% de la représentation totale d'un concept. Le débat scientifique sur la possibilité qu'une machine possède quelque chose s'apparentant à un esprit s'en trouve relancé, sans qu'Anthropic ne tranche la question de la conscience elle-même.

💬 Ce qui me scotche, c'est pas le débat conscience (Anthropic prend bien soin de ne rien trancher), c'est l'usage sécurité derrière: si tu sais isoler ce que le modèle "a en tête" avant qu'il ne le formule, tu peux repérer une tentative de manipulation avant qu'elle sorte en texte. Le fil IA retient ça: la détection des risques passe d'une lecture de ce que le modèle dit à une lecture de ce qu'il pense réellement. Reste à voir si cet outil tient à l'échelle de modèles en prod et pas juste sur les cas d'école du papier.

RecherchePaper
1 source
Comment les modèles ouverts stimulent la recherche en IA
27NVIDIA AI Blog 

Comment les modèles ouverts stimulent la recherche en IA

À l'occasion de l'ICML 2026, l'une des plus grandes conférences mondiales sur le machine learning, les statistiques des papiers acceptés révèlent à quel point les modèles et infrastructures ouverts sont devenus centraux dans la recherche en intelligence artificielle. NVIDIA compte à lui seul 74 papiers acceptés cette année. Environ 2 000 articles retenus citent l'utilisation de GPU NVIDIA, et 145 s'appuient spécifiquement sur Nemotron, la famille de modèles et jeux de données ouverts de l'entreprise, comme fondation de leurs travaux. Des centaines d'autres recherches mobilisent Cosmos, Isaac GR00T ou BioNeMo, couvrant l'IA physique, la robotique, les véhicules autonomes et la recherche biomédicale. Parmi les thèmes dominants figurent la génération vidéo, l'apprentissage par renforcement appliqué aux grands modèles de langage, l'entraînement d'agents et l'inférence, mais de nouveaux axes émergent nettement, notamment les modèles de monde pour la robotique. Le projet DreamDojo illustre cette tendance : construit sur Cosmos, il apprend le comportement du monde physique à partir de vidéos humaines afin de prédire comment un robot réagirait dans des environnements jamais rencontrés à l'entraînement, permettant d'évaluer des politiques de décision et de piloter un robot virtuel sans les coûts et risques d'un déploiement réel. Cette montée en puissance des modèles ouverts change concrètement la manière dont la science de l'IA progresse. Plutôt que de partir de zéro, les laboratoires académiques et industriels s'appuient sur des poids ouverts à évaluer, des jeux de données ouverts pour entraîner leurs propres modèles, et des recettes ouvertes couvrant le raisonnement, l'usage d'outils, la sécurité et l'inférence efficace. En sciences de la vie, les modèles ouverts BioNeMo ont permis des avancées comme FLIP2, un nouveau benchmark public pour évaluer la capacité de l'IA à prédire l'effet des mutations sur les protéines, ou KERMT, un modèle dédié aux propriétés moléculaires utiles à la découverte de médicaments. La génération de données synthétiques s'impose également comme un axe majeur, reflétant un besoin croissant d'entraîner des modèles à grande échelle sans dépendre uniquement de données annotées par des humains, un chantier soutenu par les outils NeMo Curator. Cette dynamique dépasse largement les laboratoires de NVIDIA. Basecamp Research a développé EDEN, un modèle de fondation pour l'ADN qui aide à interpréter et concevoir des séquences génétiques. Le groupe pharmaceutique Merck & Co. utilise KERMT pour prédire le comportement de molécules candidates à un traitement, notamment leur efficacité et leur sécurité potentielles. Le laboratoire japonais Sakana AI, présent à la conférence, a bâti ses modèles Fugu et Fugu-Ultra directement sur Nemotron 3 Ultra pour automatiser une partie de la recherche en IA, tandis que la startup KiloCode a intégré Nemotron dans son architecture de routage de code, revendiquant une réduction des coûts en tokens pouvant atteindre 90 %. Ces exemples illustrent comment l'ouverture des modèles et des infrastructures accélère l'innovation bien au-delà du seul écosystème de leur créateur, en abaissant la barrière d'entrée pour des équipes de recherche et des entreprises de toutes tailles.

UELes laboratoires de recherche académiques europeens beneficient indirectement de l'acces a ces modeles et jeux de donnees ouverts pour leurs propres travaux.

💬 Les chiffres parlent tout seuls : 2000 papiers ICML citent du GPU NVIDIA, 145 s'appuient sur Nemotron. On est loin du open source comme argument marketing, c'est devenu l'infrastructure de base de la recherche en IA. Ce qui me frappe, c'est que ça abaisse vraiment la barrière d'entrée : un labo japonais comme Sakana ou une startup comme KiloCode construisent dessus sans les moyens d'un géant. Reste à voir si NVIDIA garde cette ouverture quand la position dominante sera encore plus verrouillée.

RecherchePaper
1 source
TopoPrimer : le contexte topologique manquant dans les modèles de prévision
28Apple Machine Learning 

TopoPrimer : le contexte topologique manquant dans les modèles de prévision

TopoPrimer est un nouveau cadre de prévision qui intègre explicitement la structure topologique globale d'une population de séries temporelles comme donnée d'entrée pour les modèles de prévision. Concrètement, la méthode précalcule une seule fois par domaine des coordonnées dérivées de l'homologie persistante et de faisceaux spectraux, une technique mathématique qui capture les relations structurelles entre séries. Ces coordonnées sont ensuite injectées token par token dans les modèles entièrement entraînés, ou utilisées comme adaptateur léger pour les modèles pré-entraînés existants. Les chercheurs ont testé l'approche sur quatre benchmarks publics avec les modèles Chronos, et ont identifié que les coordonnées de faisceaux spectraux constituent le principal moteur des gains de précision, davantage que la composante d'homologie persistante. Cette innovation répond à des problèmes concrets et coûteux pour l'industrie de la prévision de séries temporelles: les pics de demande saisonniers, qui déstabilisent souvent les modèles classiques, et le problème du démarrage à froid, quand un modèle doit prévoir pour une série sans historique suffisant. En rendant la structure topologique explicite plutôt qu'implicite, TopoPrimer permet aux modèles de mieux généraliser entre séries similaires au sein d'un même domaine, ce qui se traduit par des prévisions plus stables en période de forte volatilité et une meilleure performance dès les premières observations d'une nouvelle série. Pour les entreprises qui s'appuient sur la prévision de demande, ce type d'amélioration peut réduire les erreurs de stock ou de planification. Le travail s'inscrit dans une tendance plus large de recherche visant à enrichir les modèles de séries temporelles avec des informations structurelles au-delà des simples valeurs numériques passées, à l'image de ce que les graphes de connaissances ont apporté au traitement du langage. La compatibilité de TopoPrimer à la fois avec des architectures entraînées de zéro et des backbones pré-entraînés comme Chronos suggère une adoption potentiellement rapide par les équipes de recherche en prévision, qui pourraient l'intégrer sans repartir d'une architecture entièrement nouvelle.

RecherchePaper
1 source
La correction d'erreurs ASR revisitée grâce à des modèles spécialisés
29Apple Machine Learning 

La correction d'erreurs ASR revisitée grâce à des modèles spécialisés

Les correcteurs d'erreurs pour la reconnaissance vocale automatique (ASR) reposent aujourd'hui majoritairement sur des grands modèles de langage (LLM) appliqués après coup, une approche qui introduit latence et risques d'hallucination. Une équipe de recherche revient sur ce problème avec une proposition différente : des modèles seq2seq compacts, spécifiquement entraînés sur des erreurs réelles issues de systèmes ASR, plutôt que sur des modèles de langage génériques ignorant les schémas d'erreurs propres à la reconnaissance vocale. Pour disposer de suffisamment de données d'entraînement, les chercheurs ont construit des corpus synthétiques via un pipeline en cascade combinant synthèse vocale (TTS) puis reconnaissance vocale (ASR), et montrent que la clé du succès réside dans la capacité à reproduire fidèlement la diversité des distributions d'erreurs observées en conditions réelles. Ils introduisent également une méthode de décodage baptisée « correction-first ». Cette approche répond à un besoin concret pour l'industrie de la voix : les systèmes ASR grand public (assistants vocaux, sous-titrage automatique, transcription de réunions) souffrent encore d'erreurs de reconnaissance que les LLM généralistes corrigent mal ou trop lentement pour un usage en temps réel. Un modèle spécialisé, plus léger, permettrait de réduire le taux d'erreur sans les coûts de calcul ni les délais associés aux grands modèles, un enjeu crucial pour les applications embarquées ou à fort volume. Ce travail s'inscrit dans une tendance plus large de spécialisation des modèles face à l'usage généraliste des LLM : plutôt que de confier chaque tâche à un modèle massif, la recherche explore des architectures dédiées, moins coûteuses et mieux adaptées aux contraintes de production, notamment pour les entreprises technologiques qui déploient des services vocaux à grande échelle.

RecherchePaper
1 source
Fortress : une étude de cas sur la stabilisation des recommandations de recherche par augmentation temporelle des données et élagage des caractéristiques
30Apple Machine Learning 

Fortress : une étude de cas sur la stabilisation des recommandations de recherche par augmentation temporelle des données et élagage des caractéristiques

Une équipe de chercheurs a présenté Fortress, un nouveau cadre méthodologique destiné aux systèmes de recherche et de recommandation, conçu pour résoudre un problème récurrent dans les modèles prédictifs : l'instabilité temporelle des scores générés par certaines variables d'entrée. Le principe repose sur l'identification puis l'élimination des caractéristiques qui provoquent des fluctuations incohérentes dans les prédictions au fil du temps. Pour y parvenir, Fortress s'appuie sur des instantanés historiques et des jeux de données partitionnés selon des périodes temporelles distinctes, permettant de comparer la stabilité des scores produits par un même modèle à différents moments. Cette approche combine ainsi une forme d'augmentation de données temporelle avec un élagage ciblé des variables jugées trop volatiles. L'enjeu dépasse la simple performance technique. Dans les systèmes de recherche et de recommandation à plusieurs étages, où les décisions d'un module alimentent directement le suivant, la moindre incohérence dans les scores peut se propager et dégrader l'expérience utilisateur, par exemple en modifiant sans raison apparente le classement de résultats pourtant pertinents. En stabilisant les prédictions dans la durée, Fortress vise à rendre ces systèmes plus fiables et plus prévisibles, un critère de plus en plus recherché par les équipes qui exploitent ces modèles en production à grande échelle. Ce travail s'inscrit dans une tendance plus large de l'industrie de la recherche et de la recommandation, où l'attention se déplace progressivement de la seule précision brute des modèles vers leur robustesse et leur cohérence dans le temps. Face à des jeux de données qui évoluent constamment, garantir qu'un modèle ne se comporte pas de façon erratique d'une mise à jour à l'autre devient un enjeu central, ouvrant la voie à d'autres recherches sur la détection automatique de features instables.

RecherchePaper
1 source
Propriétés de mise à l'échelle des modèles de langage parlé à diffusion continue
31Apple Machine Learning 

Propriétés de mise à l'échelle des modèles de langage parlé à diffusion continue

Les chercheurs à l'origine de cette étude s'attaquent à un problème connu des modèles de langage parlé (SLM) : les versions qui traitent uniquement l'audio restent nettement moins performantes que les modèles combinant texte et parole, ou que les modèles de texte seuls. Les SLM autorégressifs (AR) discrets, l'approche dominante jusqu'ici, nécessitent des ressources de calcul et des volumes de données considérables pour espérer rivaliser avec les modèles textuels. L'équipe propose une alternative fondée sur la diffusion continue (CD), qui évite l'étape de discrétisation de la parole jugée responsable d'un goulot d'étranglement dans les architectures AR. Pour évaluer objectivement la qualité linguistique produite par ces modèles, elle introduit une nouvelle métrique, la divergence de Jensen-Shannon phonémique (pJSD). Cette contribution est importante car elle ouvre une voie alternative pour construire des assistants vocaux et des systèmes de synthèse ou de compréhension de la parole plus efficaces, sans dépendre des coûts prohibitifs associés aux modèles autorégressifs discrets. Si les modèles à diffusion continue permettent d'atteindre une qualité comparable avec moins de ressources, cela pourrait accélérer le développement de SLM plus économes en données et en puissance de calcul, un enjeu central pour les entreprises qui cherchent à déployer des interfaces vocales à grande échelle. Le contexte plus large est celui d'une course à la modélisation du langage parlé, où le texte reste en avance sur l'audio en termes de performance et d'efficacité d'entraînement. Les modèles autorégressifs, hérités des grands modèles de langage textuels, imposent une conversion de la parole en unités discrètes qui limite leur capacité à capter les nuances du signal audio. En montrant que les modèles à diffusion continue suivent des lois d'échelle similaires à celles des modèles AR pour la perte de validation et la métrique pJSD, avec un ratio optimal entre nombre de tokens et de paramètres, cette étude fournit des repères concrets pour orienter les futurs travaux sur l'entraînement et le dimensionnement des SLM.

RecherchePaper
1 source
Les agents de recherche IA n'échouent pas à chercher, mais à poser les bonnes questions face aux requêtes ambiguës
32The Decoder 

Les agents de recherche IA n'échouent pas à chercher, mais à poser les bonnes questions face aux requêtes ambiguës

Les agents de recherche IA basés sur l'intelligence artificielle échouent rarement à cause de la recherche elle-même lorsqu'ils mènent des investigations en plusieurs étapes. Leur véritable faiblesse est ailleurs : ils ne demandent pas de clarification à l'utilisateur quand une requête est ambiguë. C'est ce que révèle un nouveau benchmark baptisé DiscoBench, conçu spécifiquement pour évaluer ce comportement. Les résultats sont frappants : les modèles qui persistent à relancer des recherches multiples plutôt que de poser une question de suivi obtiennent une précision de seulement 51,9 %, un score inférieur à celui obtenu en devinant simplement la réponse. Même le modèle le plus performant du test ne dépasse pas 43 % de précision globale. Lorsque l'ambiguïté est retirée des requêtes, la précision grimpe jusqu'à 40 points de pourcentage. Ce constat a des implications concrètes pour tous les usages professionnels des agents IA de recherche, des assistants documentaires aux outils d'aide à la décision. Un agent qui interprète mal une demande floue et fonce vers une réponse erronée, plutôt que de demander une précision, produit des résultats peu fiables malgré des capacités de recherche techniquement solides. Pour les entreprises qui déploient ces outils, cela signifie qu'améliorer la qualité des réponses passe autant par l'apprentissage du dialogue que par l'optimisation des moteurs de recherche sous-jacents. Ce travail s'inscrit dans une réflexion plus large sur les limites des agents autonomes multi-étapes, un axe de recherche en pleine expansion à mesure que ces systèmes gagnent en autonomie. La capacité à reconnaître l'incertitude et à interagir avec l'utilisateur, plutôt que de produire une réponse à tout prix, apparaît comme un enjeu central pour la fiabilité future de ces agents.

💬 Le vrai problème des agents de recherche, c'est pas qu'ils cherchent mal, c'est qu'ils n'osent jamais dire "je comprends pas ta question". Un score sous celui du pur hasard quand ils s'entêtent à relancer des recherches plutôt que de demander une précision, ça remet les pendules à l'heure : la fiabilité d'un agent IA se joue autant dans sa capacité à dialoguer que dans celle à chercher. Bon courage aux boîtes qui déploient ces outils en pensant que le moteur de recherche suffit à tout.

RecherchePaper
1 source
NVIDIA Horizon : un agent autonome qui fait évoluer des Git Worktrees et atteint 100% de réussite sur un benchmark RTL
33MarkTechPost 

NVIDIA Horizon : un agent autonome qui fait évoluer des Git Worktrees et atteint 100% de réussite sur un benchmark RTL

NVIDIA Research a présenté HORIZON, un cadre d'agent autonome conçu pour la conception de matériel informatique, en particulier au niveau transfert de registre (RTL). Détaillé dans un article publié sur arXiv (2606.28279), le système traite la conception matérielle comme un problème d'évolution de code au niveau d'un dépôt entier plutôt que comme une génération ponctuelle. Chaque problème de conception est encapsulé dans un harnais structuré au format Markdown, qui définit un objectif, des directives de connaissance du domaine, une spécification d'évaluation et un critère d'acceptation. Un agent de démarrage compile ensuite ce harnais en un pack de projet, formalisé par les chercheurs comme un tuple regroupant la politique de l'agent, l'évaluateur exécutable, le prédicat d'acceptation, la politique de contrôle de version et les compétences du domaine. L'équipe rapporte un taux de complétion de 100% sur l'ensemble des suites de benchmarks RTL évaluées, tout en précisant que la conception matérielle par agent autonome reste un problème non résolu dans l'absolu. Cette approche répond à une limite bien identifiée de la génération de code en un seul passage : produire du Verilog plausible ne suffit pas pour garantir un matériel fonctionnel, car la validité dépend du comportement cycle par cycle, des conventions de réinitialisation, des largeurs de bits et des retours du simulateur. HORIZON héberge chaque problème dans un dépôt Git isolé, où une boucle d'agent autonome planifie une cible, modifie l'espace de travail, invoque des outils, puis exécute l'évaluateur à chaque cycle. Une nouvelle version n'est validée par un commit que si elle franchit ce contrôle exécutable, sinon l'échec est simplement journalisé. Cette méthode importe pour les équipes de conception de semi-conducteurs et d'électronique numérique, car elle promet de fiabiliser l'automatisation de tâches jusqu'ici jugées trop sensibles pour une génération de code sans supervision humaine constante, tout en gardant une trace complète et vérifiable de chaque décision. Git ne sert pas ici de simple outil de gestion de versions mais de substrat expérimental complet : les diffs exposent les changements proposés, les commits marquent les points de contrôle validés, et les notes associées à chaque commit conservent le verdict de l'évaluateur ainsi que la récompense obtenue, transformant l'historique du dépôt en une véritable mémoire d'apprentissage sans base de données séparée. Les tentatives réussies deviennent des exemples positifs de réparation, les échecs des exemples négatifs, et l'ensemble s'inscrit dans une terminologie empruntée aux processus de décision markoviens semi-continus, sans toutefois qu'un apprentissage par renforcement ne mette réellement à jour la politique de l'agent au cours d'une campagne. HORIZON s'inscrit dans une lignée de systèmes d'auto-évolution à l'échelle d'un dépôt, aux côtés d'AlphaEvolve (2025) pour les noyaux algorithmiques, de SATLUTION (2025) pour les solveurs SAT, et d'ABCEvo (2026) pour la synthèse logique EDA, tous partageant un même principe : un changement candidat n'est accepté que lorsqu'une preuve exécutable le confirme.

💬 Ce qui compte pas dans ce papier, c'est le RTL, c'est l'architecture : Git comme mémoire d'apprentissage plutôt qu'une base de données à part, ça change la manière de penser l'auto-évolution de code. 100% sur un benchmark, ça sent le terrain choisi, faut voir sur des specs plus sales. Mais l'idée qu'un commit ne vaille que s'il passe un évaluateur exécutable, ça devrait s'exporter bien au-delà du hardware.

RecherchePaper
1 source
Harness Engineering pour l'auto-amélioration
34Lilian Weng 

Harness Engineering pour l'auto-amélioration

Le concept d'amélioration récursive de soi-même par une intelligence artificielle remonte à 1965, lorsque le mathématicien britannique I. J. Good a théorisé la notion de "machine ultra-intelligente", un système capable de surpasser l'humain dans toutes les activités intellectuelles et de concevoir des machines encore meilleures pour se perfectionner lui-même. Plus de quarante ans plus tard, en 2008, le chercheur Eliezer Yudkowsky a formalisé cette idée sous l'expression "recursive self-improvement" (amélioration récursive de soi), désignant une boucle de rétroaction précise: une IA utilise son intelligence actuelle pour améliorer les mécanismes cognitifs qui produisent cette même intelligence. Dans les systèmes d'IA modernes, cette boucle peut prendre deux formes concrètes, soit un modèle qui réécrit directement ses propres poids neuronaux, soit, plus largement, un modèle qui optimise son propre pipeline d'entraînement et son système de déploiement, ce qui permet ensuite de produire un modèle successeur plus performant sur des tâches à forte valeur économique. Cette dynamique n'est plus purement théorique: les laboratoires d'IA de pointe, notamment Anthropic et OpenAI, constatent une accélération marquée du rythme de leurs propres travaux de recherche grâce à l'usage de leurs modèles pour assister le développement des suivants. Concrètement, cela signifie que les cycles d'itération entre versions de modèles se raccourcissent, et que les capacités des systèmes progressent plus vite qu'avec des méthodes de développement uniquement humaines. Pour l'industrie, cela pose la question de la maîtrise de ces boucles d'auto-amélioration et de la nécessité de concevoir des environnements de test rigoureux, ce que les chercheurs appellent l'"ingénierie de harnais", pour encadrer et vérifier ces gains de performance. Cette accélération ravive un débat qui traverse la recherche en IA depuis six décennies, celui du point de bascule où une intelligence artificielle deviendrait capable de s'améliorer plus vite que ses créateurs ne peuvent la superviser. Les enjeux touchent à la fois à la sécurité, à la gouvernance des laboratoires et à la vitesse d'arrivée de capacités transformatrices, sujets qui mobilisent aujourd'hui autant les équipes de recherche que les régulateurs à travers le monde.

RechercheOpinion
1 source
L'Institut britannique de sécurité de l'IA constate que les benchmarks standards sous-estiment les capacités réelles des agents IA
35The Decoder 

L'Institut britannique de sécurité de l'IA constate que les benchmarks standards sous-estiment les capacités réelles des agents IA

Le UK AI Security Institute (AISI) a publié une étude portant sur sept benchmarks utilisés pour évaluer les capacités des agents d'intelligence artificielle, révélant que ces tests sous-estiment systématiquement leurs performances réelles. La cause identifiée est simple: les protocoles d'évaluation standards imposent un budget de calcul (mesuré en tokens) trop restreint aux modèles testés. En multipliant ce budget par dix sur des tâches d'ingénierie logicielle, les chercheurs de l'AISI ont observé une hausse d'environ 25 points de pourcentage du taux de réussite. Les modèles les plus récents profitent le plus de cette marge supplémentaire, suggérant que les benchmarks actuels plafonnent artificiellement leurs scores. Selon les calculs de l'institut, une fois ce facteur pris en compte, la progression réelle des capacités des modèles de pointe serait environ 60% plus rapide que ce que les mesures précédentes laissaient penser. Cette découverte a des implications directes pour l'industrie et les décideurs qui s'appuient sur ces classements pour évaluer les risques et les capacités des systèmes d'IA. Si les benchmarks sous-estiment structurellement ce que les agents peuvent accomplir, les entreprises, régulateurs et chercheurs en sécurité qui s'en servent pour anticiper les usages potentiellement dangereux ou pour comparer les modèles entre eux travaillent avec une image faussée de la réalité. Cela concerne en particulier les tâches longues et complexes, où un agent disposant de plus de ressources de calcul peut explorer davantage de pistes, corriger ses erreurs et itérer avant de produire une réponse finale. L'AISI, agence britannique chargée d'évaluer les risques liés à l'intelligence artificielle avancée, cherche depuis sa création à établir des méthodes de test rigoureuses pour suivre l'évolution des capacités des modèles les plus puissants. Ce travail s'inscrit dans un débat plus large sur la fiabilité des benchmarks existants, régulièrement critiqués pour ne pas refléter les conditions réelles d'utilisation des agents IA, notamment lorsqu'ils opèrent en autonomie prolongée. Ces résultats pourraient pousser les organismes d'évaluation à revoir leurs protocoles de test, avec des budgets de calcul plus réalistes, afin de mieux anticiper la trajectoire réelle des progrès de l'IA et les risques associés.

UELe Royaume-Uni n'etant plus membre de l'UE, cette etude n'a pas d'impact reglementaire direct, mais ses conclusions pourraient interesser les evaluateurs europeens (dont l'UE dans le cadre de l'AI Act) qui s'appuient sur des benchmarks similaires pour jauger les risques des agents IA.

💬 Ce qui me frappe, c'est que le problème n'est pas dans les modèles, il est dans la règle du jeu : donne dix fois plus de budget de calcul à un agent sur une tâche de code, et son taux de réussite grimpe de 25 points. Du coup toute la courbe de progrès qu'on croyait suivre était fausse, l'AISI parle de 60% de progression en plus que ce qu'on mesurait. Ça change la donne pour les régulateurs : si les benchmarks sous-estiment structurellement ce que les agents savent déjà faire, on pilote les risques de l'IA avec un compteur qui retarde.

RecherchePaper
1 source
Interfaze lance diffusion-gemma-asr-small, un modèle ASR open source à diffusion transcrivant six langues via le décodeur de débruitage parallèle de DiffusionGemma
36MarkTechPost 

Interfaze lance diffusion-gemma-asr-small, un modèle ASR open source à diffusion transcrivant six langues via le décodeur de débruitage parallèle de DiffusionGemma

La startup américaine Interfaze, issue de l'accélérateur Y Combinator, a publié en open source diffusion-gemma-asr-small, un modèle de reconnaissance vocale qui transcrit la parole via un décodeur à diffusion plutôt que par génération autorégressive mot après mot. Présenté comme le premier système de ce type en open source capable de gérer plusieurs langues, il traite six langues avec un seul adaptateur de 42 millions de paramètres, greffé sur le socle figé de DiffusionGemma, le modèle de mélange d'experts à 26 milliards de paramètres de Google (128 experts, 4 milliards actifs par requête), soit seulement 0,16% du poids total. L'architecture combine un encodeur Whisper-small figé, qui convertit l'audio en trames acoustiques, et un projecteur entraîné d'environ 19 millions de paramètres qui les transforme en 188 tokens audio insérés dans DiffusionGemma. Le décodeur débruite ensuite un texte de 192 tokens en une quinzaine d'étapes. Sur le benchmark LibriSpeech, le modèle affiche un taux d'erreur de mots de 6,6%, devançant son principal rival en diffusion, Whisfusion (8,3%), même s'il reste en retrait par rapport à Whisper, le modèle autorégressif d'OpenAI qui fait référence dans le domaine. L'intérêt principal de l'approche par diffusion tient à son coût de calcul: contrairement aux modèles autorégressifs, dont le temps de transcription augmente avec la longueur du texte, le coût ici dépend uniquement du nombre d'étapes de débruitage, ce qui peut accélérer le traitement de longs enregistrements. Pour les développeurs, la publication de l'adaptateur sous licence Apache 2.0 ouvre la voie à des expérimentations sur une architecture encore marginale, potentiellement utile pour des applications de transcription à grande échelle où la latence compte davantage que la longueur du contenu. Techniquement, DiffusionGemma ne traitait à l'origine que texte, image et vidéo, sans audio, et repose sur une diffusion à tokens aléatoires uniformes plutôt que sur le schéma de masquage classique utilisé par la plupart des modèles de langage à diffusion. Ajouter l'audio n'a pas été trivial: une première tentative consistant à injecter directement le signal brut dans le modèle a échoué, celui-ci n'ayant jamais appris à reconnaître formants ni phonèmes et se contentant de produire un texte fluide mais inventé. L'entraînement a lui aussi buté sur un problème d'amorçage classique: le projecteur, initialisé aléatoirement, produisait un signal si peu informatif que le mécanisme d'attention a appris à l'ignorer, bloquant la perte autour de 8. L'équipe a résolu ce blocage en supervisant directement le projecteur via une perte CTC (Connectionist Temporal Classification), une technique qui aligne audio et texte sans passer par l'attention, rendant enfin les représentations audio exploitables par le décodeur.

💬 Fun fact : Google avait déjà DiffusionGemma pour le texte et l'image, et personne n'avait pensé à y greffer de l'audio avant Interfaze. Le résultat tient la route (6,6% d'erreur, mieux que Whisfusion) mais reste sous Whisper, donc c'est un pari sur la latence plus que sur la qualité. Ce qui est intéressant, c'est que 42 millions de paramètres d'adaptateur suffisent à faire parler un modèle à 26 milliards qui n'entendait rien au départ : la vraie histoire ici, c'est que la diffusion commence à devenir une alternative crédible à l'autorégressif dès qu'on traite du contenu long.

RechercheActu
1 source
Nouveau framework IA d'Alibaba : évite de charger tous les outils, réduit l'usage de tokens de 99%
37VentureBeat AI 

Nouveau framework IA d'Alibaba : évite de charger tous les outils, réduit l'usage de tokens de 99%

Des chercheurs d'Alibaba ont développé SkillWeaver, un framework conçu pour résoudre le problème du routage d'outils dans les systèmes d'IA d'entreprise, où un agent peut disposer de centaines de compétences différentes et se retrouver incapable de choisir la bonne à chaque étape d'une tâche. Le système construit un graphe d'exécution pour chaque requête complexe et sélectionne les compétences adaptées à chaque nœud, via trois étapes baptisées Decompose, Retrieve et Compose. Les chercheurs y associent une technique appelée Skill-Aware Decomposition (SAD), qui utilise une boucle de rétroaction permettant à l'agent de récupérer et de vérifier itérativement les outils candidats, au lieu de les choisir en une seule fois comme le font la plupart des frameworks concurrents. Dans leurs expériences, cette approche de récupération et de routage a permis de réduire la consommation de tokens de plus de 99% par rapport à une méthode naïve exposant l'agent à l'intégralité de la bibliothèque d'outils, tout en améliorant sensiblement la précision des résultats. Pour les équipes qui construisent des agents IA en entreprise, l'enjeu est concret : exposer un LLM à une bibliothèque d'outils entière consomme rapidement des centaines de milliers de tokens et sature les limites de contexte, ce qui rend les architectures actuelles difficiles à faire passer à l'échelle. C'est particulièrement critique pour les écosystèmes construits autour du Model Context Protocol (MCP), où des agents orchestrent de façon autonome de multiples outils pour exécuter des opérations métier en plusieurs étapes, comme télécharger un jeu de données, le transformer, puis générer des rapports visuels. Selon les auteurs, le principal enseignement pour les praticiens est que la granularité du découpage des tâches constitue le véritable goulot d'étranglement pour une récupération d'outils précise, plus que la taille de la bibliothèque elle-même. Ce travail répond à une limite structurelle des approches existantes, qu'il s'agisse de récupération par API, de correspondance documentaire ou de structures hiérarchiques : elles traitent le routage comme un problème de sélection d'une seule compétence par étape, alors que les requêtes réelles sont par nature compositionnelles. Une demande classique comme "télécharger le jeu de données, le transformer et créer des rapports visuels" ne peut être satisfaite par un seul outil ; elle nécessite de décomposer la tâche, puis d'enchaîner un client API, un processeur de données et un outil de visualisation dans un plan cohérent. SkillWeaver formalise cette étape finale sous la forme d'un graphe orienté acyclique (DAG), qui cartographie les dépendances entre sous-tâches et permet, lorsque c'est possible, une exécution en parallèle des étapes indépendantes.

💬 99% de tokens en moins, ça sent le chiffre marketing calibré pour le titre. Le vrai enseignement est ailleurs : c'est la granularité du découpage des tâches qui bloque le routage d'outils, pas la taille de la bibliothèque, ce qui inverse pas mal d'hypothèses des équipes qui bricolent leurs agents MCP en ce moment. Bonne nouvelle sur le papier, mais reste à voir si ça tient avec des centaines d'outils réels en prod et pas juste sur un benchmark maison.

RecherchePaper
1 source
L’IA générative bouscule la recherche en mathématiques
38Next INpact 

L’IA générative bouscule la recherche en mathématiques

42 est toujours la réponse, de toute façon. En mai dernier, OpenAI a annoncé qu'un de ses modèles internes avait résolu l'un des problèmes d'Erdős, celui des distances unitaires, numéroté 90. Ce n'était pas une première tentative : dès novembre, l'entreprise affirmait déjà que GPT-5 avait trouvé des solutions à dix problèmes posés par le mathématicien Paul Erdős, des résultats que le média Next qualifie de largement gonflés. Cette fois, le 20 mai, neuf mathématiciens et mathématiciennes ont mis en ligne sur la plateforme arXiv leurs remarques sur la démonstration produite par OpenAI, validant au passage sa réalité. David Madore, maître de conférences en mathématiques à Télécom ParisTech, confirme sans détour : « C'est indiscutable que des problèmes d'Erdős ont été résolus par des IA génératives. » Il précise toutefois que les premières annonces étaient exagérées, certaines IA ayant simplement retrouvé des résultats déjà présents dans la littérature scientifique. Cette percée soulève des questions concrètes sur la nature réelle des progrès accomplis et sur ce qu'elle change pour la recherche en mathématiques. Thomas Bloom, mathématicien à l'université de Manchester, souligne que la preuve initiale de l'IA, bien que valide, a été considérablement améliorée par les chercheurs humains d'OpenAI et par de nombreux autres mathématiciens ayant contribué à l'article. Melanie Matchett Wood, professeure à Harvard, va plus loin en avançant que si l'expertise humaine mobilisée pour vérifier et affiner la solution avait été employée en amont pour chercher un contre-exemple à la conjecture, les mathématiciens auraient probablement pu la résoudre eux-mêmes. Ces nuances comptent : elles rappellent que la résolution de ces problèmes reste un travail collaboratif entre machine et humains, et non une démonstration d'autonomie totale de l'IA. Le contexte de cette controverse tient à la stratégie de communication des entreprises d'IA générative, qui cherchent depuis plusieurs mois à convaincre que leurs modèles atteignent le niveau d'un chercheur professionnel. David Madore relativise la portée de l'exploit en rappelant que les problèmes d'Erdős, bien que non triviaux, reposent généralement sur des outils et des définitions peu sophistiqués comparés à d'autres pans des mathématiques. Il note aussi qu'OpenAI a utilisé un modèle interne aux caractéristiques non divulguées, sans préciser le temps de calcul nécessaire à la résolution, ce qui limite la possibilité d'évaluer objectivement la performance. Le mathématicien reconnaît malgré tout qu'un problème important a été résolu de façon essentiellement autonome par l'IA, tout en insistant sur le fait que ce succès reste isolé parmi de nombreux autres problèmes soumis aux modèles sans résultat probant, et qu'il ne s'agit en rien du « Saint Graal des mathématiques ».

UEUn mathématicien français de Télécom ParisTech (David Madore) apporte une expertise critique centrale à ce débat, illustrant la contribution académique française à l'évaluation des capacités réelles de l'IA générative.

💬 Un problème d'Erdős tombé, c'est réel, Madore le confirme sans détour. Mais regarde qui a fait le travail : la preuve de l'IA, les mathématiciens l'ont largement retapée après coup, et une chercheuse d'Harvard estime que si cette énergie humaine avait été mise en amont, ils l'auraient sans doute trouvée seuls. Ce qui se confirme surtout, une fois de plus, c'est que les annonces des boîtes d'IA sortent gonflées et que seule la vérification par les pairs, des mois plus tard, dit ce qui tient vraiment debout.

RecherchePaper
1 source
Diffusion des politiques de démasquage pour les modèles de langage par diffusion
39Apple Machine Learning 

Diffusion des politiques de démasquage pour les modèles de langage par diffusion

Les modèles de langage à diffusion (dLLMs) atteignent désormais des performances comparables à celles des modèles autorégressifs classiques sur de nombreuses tâches, tout en promettant une meilleure efficacité lors de l'inférence. Un aspect central de leur conception réside dans la procédure d'échantillonnage, c'est-à-dire la méthode qui détermine quels tokens démasquer à chaque étape du processus de diffusion. Des travaux récents montrent que des stratégies heuristiques, comme le seuillage de confiance, améliorent à la fois la qualité des échantillons générés et le débit de tokens par rapport à un démasquage aléatoire. Ces heuristiques nécessitent cependant un réglage manuel minutieux pour fonctionner correctement. Ce constat pose un problème concret pour l'adoption des dLLMs à grande échelle : sans automatisation de ce réglage, chaque nouvelle tâche ou configuration exige une intervention humaine pour ajuster les paramètres de démasquage, ce qui limite la flexibilité et l'efficacité pratique de ces modèles. Or l'un des arguments majeurs en faveur des dLLMs face aux modèles autorégressifs est justement leur potentiel de génération plus rapide, puisqu'ils peuvent en théorie démasquer plusieurs tokens en parallèle plutôt que mot par mot. Si les politiques de démasquage restent dépendantes d'un tuning manuel fragile, ce gain d'efficacité promis reste difficile à exploiter pleinement en conditions réelles. Ces travaux s'inscrivent dans un mouvement de recherche plus large visant à rendre les dLLMs, une alternative encore récente aux architectures autorégressives dominantes comme GPT, réellement compétitifs en production. Après avoir démontré leur viabilité sur le plan de la qualité de génération, la communauté cherche maintenant à automatiser les choix algorithmiques qui restent aujourd'hui confiés à l'intuition des chercheurs, en particulier via des politiques de démasquage apprises plutôt que fixées à la main. L'enjeu porte sur la capacité de ces modèles à généraliser leurs performances sans dépendre d'un réglage spécifique à chaque tâche.

RecherchePaper
1 source
Le pari intelligent sur le raisonnement à budget de calcul limité
40Apple Machine Learning 

Le pari intelligent sur le raisonnement à budget de calcul limité

Les grands modèles de langage capables de raisonnement, comme ceux utilisés pour les tâches complexes de mathématiques ou de logique, peuvent améliorer leur précision en dépensant davantage de tokens au moment de l'inférence, une pratique connue sous le nom de scaling au moment du test. Des chercheurs proposent une nouvelle méthode baptisée Conformal Thinking, qui reformule le problème du choix du budget de calcul comme un problème de contrôle du risque plutôt que comme un simple réglage empirique. Concrètement, le système introduit un seuil supérieur qui détermine quand arrêter le raisonnement, permettant de limiter le taux d'erreur tout en minimisant la quantité de calcul consommée. Cette approche répond à un problème très concret pour les entreprises et développeurs qui déploient ces modèles en production: allouer trop de tokens à chaque requête gaspille des ressources et augmente les coûts, tandis qu'arrêter le raisonnement trop tôt dégrade la fiabilité des réponses. En transformant ce réglage en un cadre de contrôle de risque avec des garanties statistiques, la méthode permettrait aux équipes techniques de fixer un niveau de fiabilité cible et d'obtenir automatiquement la stratégie d'arrêt la plus économe en calcul qui respecte cette contrainte, plutôt que de deviner un budget fixe par essais successifs. Le contexte plus large est celui d'une course à l'efficacité dans le déploiement des modèles de raisonnement, où le coût par requête devient un enjeu commercial aussi important que la performance brute. Les techniques de raisonnement adaptatif, qui ajustent dynamiquement l'effort de calcul selon la difficulté perçue d'une question, se multiplient dans la recherche récente. Ce travail s'inscrit dans une tendance visant à doter ces mécanismes de garanties formelles inspirées de la prédiction conforme, un domaine statistique déjà utilisé pour quantifier l'incertitude des modèles d'apprentissage automatique dans d'autres contextes.

RecherchePaper
1 source
Résumé du contexte de diffusion à contexte résiduel dans les modèles de langage
41Apple Machine Learning 

Résumé du contexte de diffusion à contexte résiduel dans les modèles de langage

Une nouvelle piste de recherche vise à rendre les modèles de langage à diffusion plus efficaces en évitant de gâcher du calcul déjà effectué. Les dLLM (diffusion large language models) sont présentés depuis plusieurs mois comme une alternative sérieuse aux modèles autorégressifs classiques du type GPT, car ils peuvent décoder plusieurs tokens simultanément plutôt qu'un seul à la fois, ce qui accélère potentiellement la génération de texte. Les versions les plus avancées de ces modèles, dites "block-wise", utilisent un mécanisme appelé remasking : à chaque étape, seuls les tokens jugés les plus fiables sont conservés et décodés, tandis que tous les autres sont simplement écartés et recalculés plus tard. Des chercheurs montrent que cette approche jette en réalité une information précieuse, puisque les tokens rejetés contiennent malgré tout du contexte utile pour les étapes suivantes de décodage. Ils proposent donc Residual Context Diffusion (RCD), un module conçu pour récupérer et réutiliser ce calcul habituellement perdu. L'enjeu est directement lié au coût de calcul de l'intelligence artificielle générative. Si les modèles à diffusion tiennent leur promesse de générer du texte plus vite grâce au parallélisme, gaspiller une partie des calculs à chaque itération limite leurs gains réels face aux modèles autorégressifs optimisés depuis des années. En recyclant l'information contenue dans les tokens non retenus, RCD permettrait d'améliorer l'efficacité globale du décodage sans changer l'architecture de base des dLLM, ce qui intéresse directement les équipes qui cherchent à réduire la facture énergétique et matérielle de l'inférence à grande échelle. Cette recherche s'inscrit dans une compétition plus large entre deux familles de modèles de langage : les autorégressifs, dominants aujourd'hui, et les modèles à diffusion, longtemps cantonnés à l'image et au son mais de plus en plus étudiés pour le texte. Résoudre le gaspillage de calcul du remasking est une étape technique jugée nécessaire pour que les dLLM deviennent compétitifs en pratique, et pourrait influencer la conception des prochaines générations de modèles génératifs.

RecherchePaper
1 source
Sujet manquant : Recherche du produit interne maximal amortie via des fonctions de support apprises
42Apple Machine Learning 

Sujet manquant : Recherche du produit interne maximal amortie via des fonctions de support apprises

Voici le résumé en français, format article autonome en 3 paragraphes : Une équipe de chercheurs en apprentissage automatique propose une nouvelle méthode baptisée "amortized MIPS", qui s'attaque au problème de la recherche du produit scalaire maximal (Maximum Inner Product Search, ou MIPS), une opération fondamentale utilisée dans de nombreux systèmes de machine learning. Concrètement, il s'agit d'entraîner des réseaux de neurones à prédire directement la solution d'une requête MIPS, c'est-à-dire à identifier le vecteur d'une base de données qui correspond le mieux à une requête donnée, sans avoir à résoudre le problème d'optimisation à chaque fois. L'approche repose sur une observation mathématique clé : la fonction de valeur du problème MIPS correspond à la fonction de support de l'ensemble des vecteurs de la base, un objet convexe bien connu en optimisation, dont le gradient permet justement de retrouver le vecteur optimal. Cette avancée est importante car le MIPS est omniprésent dans les infrastructures d'intelligence artificielle modernes, notamment pour la recherche de similarité dans les moteurs de recommandation, les bases de données vectorielles ou les systèmes de récupération d'information (RAG) associés aux grands modèles de langage. En amortissant le coût de calcul sur des requêtes répétées issues d'une même distribution, la méthode promet des gains de vitesse significatifs par rapport aux approches classiques, qui doivent recalculer une recherche exacte ou approximative à chaque nouvelle requête. Pour les entreprises opérant des systèmes à très grande échelle, où des millions de recherches vectorielles sont effectuées quotidiennement, un tel gain d'efficacité peut se traduire par une réduction directe des coûts d'infrastructure et de la latence perçue par l'utilisateur. Cette recherche s'inscrit dans un mouvement plus large de la communauté du machine learning consistant à remplacer des algorithmes exacts, mais coûteux, par des approximations apprises, une tendance déjà observée dans l'indexation approximative des plus proches voisins ou l'optimisation de requêtes en bases de données. En s'appuyant sur les outils de l'analyse convexe pour justifier théoriquement leur approche, les auteurs ouvrent la voie à des travaux futurs combinant garanties mathématiques et performances pratiques, un enjeu central alors que les systèmes d'IA génératifs multiplient les besoins de recherche vectorielle rapide et fiable à grande échelle.

RecherchePaper
1 source
On robustesse et cohérence du raisonnement en chaîne dans les VLM affinés par RL
43Apple Machine Learning 

On robustesse et cohérence du raisonnement en chaîne dans les VLM affinés par RL

On Robustness and Chain-of-Thought Consistency of RL-Finetuned VLMs Une équipe de chercheurs a testé la robustesse des modèles vision-langage (VLM) entraînés par renforcement (RL), une technique de plus en plus utilisée pour améliorer le raisonnement des grands modèles de langage et désormais étendue aux modèles multimodaux. Les expériences montrent que ces VLM affinés par RL, bien que plus performants sur les benchmarks de raisonnement visuel, restent fragiles face à des perturbations textuelles simples et contrôlées: une légende trompeuse associée à une image ou une chaîne de raisonnement (chain-of-thought) volontairement erronée suffisent à faire chuter significativement leur robustesse et leur niveau de confiance dans les réponses fournies. Les chercheurs précisent que cet effet est encore plus marqué lorsque la cohérence de la chaîne de raisonnement est mise à l'épreuve, révélant une dépendance excessive au texte plutôt qu'à l'analyse réelle de l'image. Ce résultat est important car il met en lumière une faille de sécurité et de fiabilité dans une génération de modèles présentée comme plus intelligente grâce au renforcement. Un VLM qui se laisse influencer par une légende erronée ou un raisonnement fautif peut produire des réponses fausses avec une confiance trompeuse, ce qui pose un risque concret pour toute application s'appuyant sur ces systèmes: assistance médicale, modération de contenu, véhicules autonomes ou outils d'analyse documentaire. Cela signifie aussi que les gains de performance mesurés sur les benchmarks classiques masquent une fragilité sous-jacente que les utilisateurs et les entreprises ne perçoivent pas toujours. Le problème trouve son origine dans le fait que l'entraînement par renforcement, conçu à l'origine pour les modèles purement textuels, a été transposé aux VLM sans toujours garantir un ancrage visuel solide (weak visual grounding) ni une réduction des hallucinations. Les modèles continuent ainsi de privilégier les indices textuels au détriment de l'image elle-même. Cette étude s'inscrit dans un débat plus large sur la fiabilité des architectures multimodales et invite les développeurs à concevoir des méthodes d'entraînement et d'évaluation qui testent explicitement la cohérence entre perception visuelle et raisonnement, avant tout déploiement dans des contextes sensibles.

RecherchePaper
1 source
Apprentissage du raisonnement structuré par contrôle de trajectoire exploitable
44Apple Machine Learning 

Apprentissage du raisonnement structuré par contrôle de trajectoire exploitable

Les chercheurs à l'origine du framework Ctrl-R proposent une nouvelle méthode pour entraîner les grands modèles de langage à raisonner de façon plus structurée et diversifiée. Le constat de départ est que ces modèles développent parfois spontanément des comportements de raisonnement, comme l'usage récurrent de mots tels que "wait" pour signaler une phase de vérification, mais que ces trajectoires de raisonnement complexes restent rares lorsqu'on les laisse émerger sans contrainte. Les méthodes d'apprentissage par renforcement (RL) classiques échouent généralement à garantir l'acquisition de comportements de raisonnement variés chez ces systèmes. Ctrl-R propose donc un contrôle ciblé et tractable des trajectoires, en forçant une exploration systématique de motifs de raisonnement spécifiques pendant l'entraînement par renforcement. Cette avancée compte pour l'industrie de l'IA car la qualité du raisonnement conditionne directement la fiabilité des modèles sur des tâches complexes, qu'il s'agisse de mathématiques, de programmation ou d'analyse. En orientant explicitement l'apprentissage vers une diversité de stratégies de vérification et de raisonnement plutôt que de laisser le hasard de l'échantillonnage décider, cette approche pourrait produire des modèles plus robustes et plus prévisibles, capables de mieux détecter leurs propres erreurs. Le problème que Ctrl-R cherche à résoudre s'inscrit dans un enjeu plus large de la recherche en IA : comment garantir qu'un modèle apprend réellement à raisonner, et non simplement à reproduire des schémas de surface issus de ses données d'entraînement. Les méthodes de RL actuelles, notamment celles popularisées par les modèles de raisonnement récents, peinent à structurer explicitement ce processus. En rendant les trajectoires de raisonnement contrôlables et donc mesurables, cette recherche ouvre la voie à des méthodes d'entraînement plus fines, où les développeurs pourraient cibler précisément les capacités cognitives qu'ils souhaitent renforcer chez leurs modèles.

RecherchePaper
1 source
MemoryLLM : mémoire feed-forward interprétable et modulaire pour les transformers
45Apple Machine Learning 

MemoryLLM : mémoire feed-forward interprétable et modulaire pour les transformers

Cette étude s'attaque à un problème central en interprétabilité des grands modèles de langage : comprendre comment fonctionnent les modules feed-forward (FFN) au sein des transformers. Les chercheurs proposent MemoryLLM, une approche qui découple les couches feed-forward du mécanisme d'auto-attention pour les étudier séparément, comme une forme de mémoire de récupération neuronale organisée token par token et indépendante du contexte. Concrètement, les auteurs analysent la façon dont chaque token d'entrée accède à des emplacements précis dans les paramètres du FFN, un peu comme s'il consultait des cases mémoire dédiées, et évaluent l'importance relative de cette mémoire FFN selon les tâches à accomplir en aval. Cette démarche compte parce que l'opacité des grands modèles de langage reste l'un des principaux freins à leur adoption dans des contextes sensibles où la traçabilité des décisions est exigée, que ce soit en santé, en finance ou en droit. En rendant lisible le rôle spécifique des couches feed-forward, longtemps traitées comme une boîte noire au même titre que l'attention, MemoryLLM ouvre la voie à des architectures plus transparentes et potentiellement plus faciles à auditer, corriger ou spécialiser sans réentraînement complet. Le travail s'inscrit dans un courant de recherche plus large sur l'interprétabilité mécaniste, qui cherche à décomposer les réseaux de neurones en composants aux fonctions identifiables plutôt que de les traiter comme des systèmes monolithiques. Alors que l'essentiel des efforts en interprétabilité s'est concentré sur les mécanismes d'attention, les couches feed-forward, qui représentent pourtant une part majoritaire des paramètres d'un transformer, restaient largement sous-étudiées. En proposant une méthode "plug-and-play", les auteurs suggèrent une intégration possible dans des architectures existantes sans refonte majeure, une piste que d'autres équipes pourraient chercher à valider sur des modèles de plus grande échelle.

RecherchePaper
1 source
Meta rapproche son IA de lecture cérébrale non invasive des performances des implants chirurgicaux
46The Decoder 

Meta rapproche son IA de lecture cérébrale non invasive des performances des implants chirurgicaux

Meta a présenté une nouvelle version de son système Brain2Qwerty, développé par l'équipe de recherche FAIR, capable de traduire l'activité cérébrale en texte tapé sans recourir à un implant chirurgical. L'appareil capte les signaux magnétiques émis par le cerveau depuis l'extérieur du crâne, grâce à une technologie de magnétoencéphalographie, puis reconstitue les lettres que la personne pense taper sur un clavier. Selon Meta, la précision du système s'améliore à chaque nouvel enregistrement ajouté à l'entraînement du modèle, un signe encourageant pour la suite du projet. Fait notable, des agents d'intelligence artificielle capables d'écrire eux-mêmes du code ont participé à l'optimisation technique du système. Cette avancée intéresse particulièrement le domaine médical, où elle pourrait un jour offrir une alternative aux interfaces cerveau-machine invasives, comme celles développées par Neuralink, pour les patients paralysés ou atteints de troubles moteurs sévères. Un dispositif non invasif réduirait les risques chirurgicaux et les coûts, tout en rendant la technologie accessible à un plus grand nombre de patients incapables de communiquer autrement. Toutefois, Meta reste prudent sur le calendrier d'un usage clinique réel, qui demeure encore lointain. La technologie s'inscrit dans une compétition mondiale croissante autour des interfaces cerveau-ordinateur, où des acteurs comme Neuralink d'Elon Musk misent sur l'implant chirurgical, tandis que des laboratoires de recherche comme FAIR explorent des voies non invasives. Les prochaines étapes dépendront probablement de l'ampleur des données collectées et de la capacité du système à généraliser au-delà des conditions de laboratoire.

💬 Selon Meta, la précision de Brain2Qwerty s'améliore à chaque enregistrement ajouté, ce qui veut dire que la vraie course n'est plus l'implant vs le non-invasif, mais qui accumule le plus de données cérébrales en premier. Neuralink a l'avantage du signal propre, Meta a l'avantage du volume et de FAIR qui tourne dessus depuis des années. Bon, sur le papier c'est impressionnant, mais "usage clinique lointain" ça veut dire encore des années avant qu'un patient paralysé en profite vraiment.

RecherchePaper
1 source
Se retire des LLM, l'IA par diffusion est plus intéressante (Evan Feinberg et Sergey Edunov, Genesis Molecular AI)
47Latent Space 

Se retire des LLM, l'IA par diffusion est plus intéressante (Evan Feinberg et Sergey Edunov, Genesis Molecular AI)

Le co-fondateur d'Evan Feinberg et le CTO Sergey Edunov, deux dirigeants de la startup Genesis Molecular AI, ont détaillé dans un long entretien les avancées de leur entreprise dans la découverte de médicaments par intelligence artificielle. Sergey Edunov, physicien de formation, a rejoint Genesis après avoir dirigé l'entraînement de Llama 2 et le pré-entraînement de Llama 3 chez Meta. Le modèle phare de l'entreprise, baptisé PEARL (pour "Place Every Atom at the Right Location"), utilise des techniques de diffusion pour prédire la structure tridimensionnelle des protéines et des molécules. Sa particularité: il modélise non seulement la position d'une molécule candidate (ligand) par rapport à une protéine cible, mais aussi la flexibilité de cette protéine elle-même, en ajustant légèrement sa forme pour optimiser l'assemblage des deux structures, une capacité que le secteur cherchait à obtenir depuis longtemps sans y parvenir. Cette avancée est présentée comme décisive car la découverte de petites molécules thérapeutiques reste l'un des problèmes les plus difficiles de la chimie computationnelle. Selon Sergey Edunov, il existe environ 10 puissance 60 molécules possibles de type médicament, un espace de recherche si vaste qu'aucune exploration exhaustive n'est envisageable. Trouver un bon candidat revient à chercher une aiguille dans une botte de foin où tout, sauf l'aiguille, serait dangereux pour l'organisme. La difficulté est redoublée par des contraintes contradictoires: une molécule qui se lie efficacement à sa cible est souvent trop grasse pour être soluble, ce qui l'empêche de circuler correctement dans le sang. Optimiser simultanément l'efficacité de liaison et les propriétés pharmacologiques et toxicologiques (dites propriétés ADMET) constitue donc un problème d'optimisation multi-paramètres particulièrement ardu, que les modèles précédents peinaient à résoudre de façon fiable. Les deux fondateurs estiment que les progrès combinés de l'intelligence artificielle, portés par les innovations issues des grands modèles de langage, ont enfin permis de franchir un seuil de précision suffisant pour des applications réelles, ouvrant la voie à des boucles de découverte de médicaments pilotées par des agents autonomes. Selon eux, alors que l'architecture des modèles de langage a peu évolué depuis l'article fondateur "Attention is all you need", hormis des optimisations comme le mélange d'experts, c'est la prédiction de structures 3D qui concentre aujourd'hui l'innovation la plus intéressante en matière de diffusion. Les benchmarks communautaires actuels, jugés parfois trop permissifs, ne reflètent pas toujours la barre de qualité réellement nécessaire, mais Genesis affirme que PEARL atteint désormais ce seuil de fiabilité, ce qui pourrait accélérer significativement le rythme de découverte de nouveaux traitements dans les années à venir.

RecherchePaper
1 source
GeneBench-Pro : OpenAI crée un benchmark si difficile que même GPT 5.6 Sol galère
48Le Big Data 

GeneBench-Pro : OpenAI crée un benchmark si difficile que même GPT 5.6 Sol galère

OpenAI a dévoilé le 30 juin 2026 GeneBench-Pro, un nouveau benchmark destiné à mesurer une compétence bien plus exigeante que la simple restitution de connaissances : le jugement scientifique des modèles d'intelligence artificielle. L'outil rassemble 129 problèmes couvrant la génomique, la biologie quantitative et la médecine translationnelle. Pour chaque exercice, l'IA reçoit un jeu de données réel, le contexte d'une expérience et une question précise, et doit explorer les données, choisir la méthode d'analyse adaptée, puis formuler une conclusion pertinente, exactement comme le ferait un chercheur face à un problème inédit. Avant la publication, OpenAI a fait valider 82 des 129 problèmes par des experts indépendants (doctorants, chercheurs postdoctoraux, scientifiques de l'industrie et professeurs), afin de vérifier le réalisme des scénarios et la cohérence des réponses attendues. Selon Alexander Strudwick Young, la plupart de ces exercices auraient mis en difficulté un doctorant livré à lui-même, sans l'appui d'un superviseur expérimenté. Sur ce test, GPT-5.6 Sol domine largement ses prédécesseurs avec 28,7 % de réussite en niveau de raisonnement maximal, et 31,5 % en mode Pro, contre moins de 5 % pour GPT-5 lors des premiers essais sur la version originale de GeneBench. Cette progression illustre un enjeu concret pour la recherche biomédicale : les experts estiment qu'un problème type de GeneBench-Pro demanderait entre 20 et 40 heures de travail à un spécialiste humain, facturées environ 200 dollars de l'heure, soit plusieurs milliers de dollars par exercice résolu. Une IA capable d'atteindre un niveau de compétence comparable pourrait effectuer le même travail pour seulement quelques dollars de coût d'inférence. L'écart de performance entre modèles reste toutefois considérable : Opus 4.8 plafonne à 16 %, Gemini 3.5 Flash à 8,1 %, Gemini 3.1 Pro à 3,1 %, GLM 5.2 à 4,6 %, DeepSeek V4 Pro à 2,4 % et Grok 4.3 à seulement 1,5 %. Ces résultats montrent qu'au-delà du simple niveau de raisonnement affiché, la capacité à naviguer dans des données biologiques désordonnées et à faire des choix méthodologiques justes reste un obstacle majeur pour la plupart des modèles, y compris les plus récents. Ce benchmark s'inscrit dans une tendance plus large de l'industrie de l'IA, qui cherche désormais à évaluer les modèles non plus sur des connaissances factuelles mais sur leur capacité à mener une véritable démarche scientifique, jugement, exploration et arbitrage méthodologique inclus. Tous les problèmes ont été créés de manière synthétique par OpenAI, ce qui lui permet de garder un contrôle total sur les données et de comparer précisément les réponses des modèles aux résultats attendus, tout en tenant compte du fait que plusieurs méthodes d'analyse différentes peuvent aboutir à une conclusion scientifiquement valable. Pour garantir une évaluation indépendante, OpenAI publie en open source dix problèmes représentatifs sur Hugging Face, et confie un second ensemble de 50 questions à Artificial Analysis, qui mènera ses propres évaluations comparatives des différents modèles d'IA. À terme, cet effort vise à mesurer si les agents d'intelligence artificielle peuvent réellement accélérer la recherche en biologie computationnelle, un domaine où la rareté des experts qualifiés et le coût élevé de leur temps constituent un frein important à l'innovation.

UECe benchmark pourrait aider les laboratoires de recherche biomédicale européens à évaluer si l'IA peut accélérer leurs travaux, mais n'implique directement aucune entreprise ou institution française ou européenne.

RecherchePaper
1 source
TabFM de Google AI : un modèle de fondation tabulaire à attention hybride pour la classification et la régression sans apprentissage préalable
49MarkTechPost 

TabFM de Google AI : un modèle de fondation tabulaire à attention hybride pour la classification et la régression sans apprentissage préalable

Google Research a présenté TabFM, un modèle de fondation conçu pour les données tabulaires, disponible dès maintenant sur Hugging Face et GitHub. Contrairement aux approches classiques, TabFM effectue de la classification et de la régression sur des tableaux jamais vus auparavant sans aucun entraînement spécifique, sans réglage d'hyperparamètres ni ingénierie de variables : chaque prédiction sort d'un seul passage direct dans le modèle. L'ensemble du jeu de données, exemples d'entraînement et lignes à prédire compris, est traité comme un unique prompt géant, sur lequel le modèle applique de l'apprentissage en contexte. L'architecture combine deux approches existantes : l'attention alternée ligne/colonne inspirée de TabPFN, qui capture les interactions entre variables, et le mécanisme d'apprentissage en contexte de TabICL, appliqué après compression de chaque ligne en un vecteur dense pour limiter le coût de calcul. Le modèle a été entraîné exclusivement sur des centaines de millions de jeux de données synthétiques, générés à partir de modèles causaux structurels intégrant des fonctions aléatoires variées. Il a été évalué sur TabArena, un benchmark évolutif basé sur des scores Elo, couvrant 38 jeux de données de classification et 13 de régression. Google prévoit par ailleurs d'intégrer TabFM à BigQuery via une future commande SQL nommée AI.PREDICT. L'enjeu pour les entreprises est concret : les données tabulaires sont au cœur de l'infrastructure décisionnelle, qu'il s'agisse de détecter un risque de résiliation client ou une fraude financière. Jusqu'ici, les méthodes à base d'arbres comme XGBoost, AdaBoost ou les forêts aléatoires dominaient ce terrain grâce à leur robustesse, mais au prix d'un travail manuel conséquent : ajuster un XGBoost à un nouveau jeu de données demande rarement un simple appel de fonction, et les data scientists passent souvent des heures à optimiser les hyperparamètres et façonner les variables avant d'obtenir un signal fiable. En supprimant cette étape, TabFM promet de réduire drastiquement le temps nécessaire pour exploiter un nouveau jeu de données, tout en rendant l'analyse tabulaire accessible sans expertise poussée en modélisation. Cette annonce s'inscrit dans une logique plus large chez Google, qui présente TabFM comme l'équivalent tabulaire de TimesFM, son modèle zéro-shot dédié aux séries temporelles. L'idée est de transposer aux tableaux le succès du apprentissage en contexte popularisé par les grands modèles de langage, capables d'apprendre une nouvelle tâche à partir d'exemples sans mise à jour de leurs poids. Le principal obstacle restait la rareté des données tabulaires ouvertes de qualité, les jeux industriels étant souvent propriétaires ou sensibles, d'où le recours massif à des données synthétiques pour l'entraînement. Reste à voir si les performances observées sur TabArena se confirmeront face aux méthodes à base d'arbres sur des cas d'usage réels en production.

RechercheOpinion
1 source
Comment les Systèmes Multi-Agents réinventent l’intelligence artificielle
50Le Big Data 

Comment les Systèmes Multi-Agents réinventent l’intelligence artificielle

Les architectures informatiques traditionnelles, construites autour d'un serveur central qui décide et exécute les tâches de façon séquentielle, atteignent leurs limites face à l'explosion des volumes de données. Goulets d'étranglement, saturation mémoire, manque de flexibilité : ces contraintes ont poussé la recherche à développer l'intelligence artificielle distribuée (IAD), qui répartit le calcul sur plusieurs machines plutôt que de le concentrer en un seul point. Les systèmes multi-agents (SMA) s'inscrivent dans cette logique : un agent informatique, logiciel ou robot physique, dispose de ses propres objectifs et d'une autonomie relative. Il perçoit son environnement via des capteurs, délibère, puis agit via des actionneurs, selon un cycle continu de perception, délibération et action, sans attendre d'ordres permanents d'une autorité centrale. Ces agents évoluent dans un environnement partagé, virtuel comme internet ou physique comme un entrepôt logistique, qui contraint leurs actions et leur permet aussi de communiquer indirectement en observant les traces laissées par leurs pairs, un mécanisme appelé stigmergie. Cette décentralisation change concrètement la donne pour les applications industrielles. En répartissant la décision entre de multiples entités plutôt que de la confier à un point unique, les SMA gagnent en réactivité temps réel et en résilience : la panne ou la lenteur d'un agent ne bloque pas l'ensemble du système. Le modèle s'appuie sur l'émergence, l'idée qu'une intelligence collective complexe peut naître de règles individuelles simples, à l'image d'une colonie de fourmis. Concrètement, cette approche sert déjà à coordonner des flottes de robots en entrepôt, à simuler des foules urbaines ou à résoudre des problèmes logistiques où le système global devient plus performant que la somme de ses composants pris isolément. Pour les industriels confrontés à des données massives et des environnements changeants, c'est une alternative crédible aux architectures monolithiques classiques. Sur le plan technique, deux grandes familles d'agents structurent ce paradigme. Les agents réactifs, les plus simples, fonctionnent sur un modèle réflexe de type condition-action, avec une mémoire très limitée mais une vitesse d'exécution maximale et une faible consommation de ressources, ce qui les rend adaptés à l'intelligence en essaim. À l'opposé, les agents cognitifs s'appuient sur le modèle BDI, inspiré de la psychologie humaine, pour des comportements plus riches et délibératifs. Pour que cette multitude d'agents autonomes ne sombre pas dans le chaos, une organisation collective définit les rôles, attribue les responsabilités et fixe des protocoles d'accès aux ressources communes, garantissant la cohérence des décisions à l'échelle du système. C'est cette architecture, à la croisée de l'IA distribuée et des sciences du comportement collectif, qui dessine aujourd'hui de nouvelles pistes pour l'industrie.

RechercheTuto
1 source