RechercheMarkTechPost1h

Tutoriel OpenMythos : Transformers à profondeur récurrente, calcul adaptatif et routage par mélange d'experts

1 source couvre ce sujet·Source originale ↗·

Une bibliothèque Python open source baptisée OpenMythos propose une reconstruction théorique de l'architecture dite "Claude Mythos", une approche de raisonnement approfondi qui mise sur l'itération computationnelle plutôt que sur l'augmentation du nombre de paramètres. Publiée sur PyPI sous le nom open-mythos, elle permet de construire des modèles de langage dotés d'un mécanisme de profondeur récurrente, où la même couche de traitement est traversée plusieurs fois en boucle. Le tutoriel publié explore deux variantes du mécanisme d'attention : GQA (Grouped Query Attention) et MLA (Multi-head Latent Attention), compare leur empreinte mémoire respective, entraîne un modèle sur une tâche de parité binaire, et inspecte l'utilisation des experts dans des couches de type Mixture-of-Experts (MoE). Les expériences montrent que MLA réduit la taille du cache KV d'un facteur d'environ 2 par rapport à GQA pour une séquence de 64 tokens sur 4 boucles.

L'enjeu central de l'architecture est ce que les auteurs appellent la "depth extrapolation" : la capacité à augmenter le nombre de boucles de raisonnement au moment de l'inférence, sans réentraîner le modèle. Un modèle entraîné avec 4 itérations peut ainsi être utilisé avec 8 ou 16 boucles pour améliorer ses performances sur des tâches complexes, sans modifier aucun paramètre. Ce paradigme s'inscrit dans la tendance plus large du "test-time compute", qui consiste à allouer davantage de calcul au moment de la génération plutôt qu'à l'entraînement. Le tutoriel valide également la stabilité numérique du modèle via les propriétés spectrales de la matrice de mise à jour récurrente, un point critique pour éviter l'explosion ou la disparition des gradients dans les boucles profondes. Le module ACT (Adaptive Computation Time) permet en outre au modèle de décider dynamiquement combien d'itérations sont nécessaires pour chaque token.

Cette publication s'inscrit dans un contexte de forte effervescence autour des architectures alternatives aux transformeurs classiques. La référence à "Claude Mythos" suggère une inspiration directe des travaux d'Anthropic, même si le projet reste une reconstruction théorique non officielle. Le champ des architectures récurrentes profondes connaît un regain d'intérêt depuis 2024, porté par des travaux comme les Recurrent Depth Transformers de Google DeepMind et les architectures hybrides SSM/attention. OpenMythos se positionne comme un outil pédagogique et expérimental pour explorer ces idées, à destination de chercheurs et d'ingénieurs qui cherchent à comprendre comment atteindre des capacités de raisonnement plus profondes sans multiplier les paramètres, une piste particulièrement pertinente dans un contexte où l'entraînement de modèles frontières est devenu prohibitif pour la majorité des acteurs.

À lire aussi

1AWS ML Blog

Des modèles biologiques multimodaux appliqués aux traitements et aux soins aux patients

Amazon Web Services présente un environnement unifié pour les modèles de fondation biologiques multimodaux (BioFMs), une nouvelle catégorie d'intelligences artificielles entraînées sur des données hétérogènes issues du vivant. Selon une analyse de Delile et al. publiée en 2025, les BioFMs actuellement déployés se répartissent entre la documentation clinique (35 %), l'analyse de données omiques incluant ADN, épigénétique et ARN (30 %), la conception de protéines et de molécules (20 %), et l'imagerie médicale (15 %). Parmi les modèles multimodaux les plus avancés figurent Latent-X1 et Latent-X2 de Latent Labs, capables de prédire des structures protéiques en 3D et de générer des molécules liant les cibles thérapeutiques comme des anticorps ou des miniprotéines. Arc Institute a développé Evo 2, qui modélise l'intégralité du dogme central de la biologie pour interpréter et prédire la structure et la fonction de l'ADN, de l'ARN et des protéines. Harvard et AstraZeneca ont co-développé MADRIGAL, qui prédit les résultats cliniques de combinaisons médicamenteuses en intégrant des données structurelles, transcriptomiques et de viabilité cellulaire. John Snow Labs propose Medical VLM-24B, un modèle à 24 milliards de paramètres qui traite simultanément des notes cliniques, des résultats biologiques et des images radiologiques (radiographie, IRM, scanner). L'enjeu de ces modèles multimodaux est de combler une lacune critique dans la prise de décision médicale et pharmaceutique : aujourd'hui, les données biologiques restent fragmentées entre silos. Un chercheur en oncologie analyse séparément les données génomiques, les images histologiques et les dossiers patients, alors que les insights décisifs se cachent précisément dans les corrélations entre ces flux. En fusionnant ces modalités dans un seul modèle, les BioFMs permettent une médecine personnalisée plus précise, accélèrent la découverte de médicaments et réduisent les effets indésirables liés aux polythérapies. Bioptimus avec M-Optimus décode ainsi conjointement histologie et données cliniques pour soutenir la recherche jusqu'au suivi patient, tandis que le modèle IRM 3D de GE Healthcare ouvre la voie à des applications de segmentation et de génération de comptes rendus radiologiques automatisés. Le tournant décisif pour les modèles unimodaux a été la prédiction de la structure des protéines par AlphaFold, récompensée par le prix Nobel de chimie 2024. Ce succès a légitimé les BioFMs comme infrastructure sérieuse et attiré des investissements massifs d'acteurs académiques et industriels. La convergence vers le multimodal suit la même trajectoire que les modèles généralistes comme Amazon Nova 2 Omni, capable de traiter texte, images, vidéo et voix au sein d'un seul système. AWS se positionne comme infrastructure centrale de ce marché en offrant compute scalable, outils de développement et intégrations partenaires. L'intégration de Nach01 d'Insilico Medicine, qui combine langage naturel, chimie computationnelle et structure moléculaire 3D, illustre comment le multimodal devient le nouveau standard pour l'ensemble du cycle de développement du médicament.

UELa startup française Bioptimus, avec son modèle M-Optimus combinant histologie et données cliniques, est directement impliquée dans cette dynamique des modèles biologiques multimodaux qui redessine la recherche médicale et pharmaceutique en Europe.

RecherchePaper

1 source

2AI News

Une startup d'un milliard de dollars avec une vision différente de l'IA

Yann LeCun, ancien directeur scientifique de l'intelligence artificielle chez Meta, a fondé AMI Labs (Advanced Machine Intelligence Labs) après avoir quitté son poste fin 2025. La startup vient de lever un milliard de dollars de financement, une somme remarquable pour une équipe de seulement 12 personnes. LeCun prévoit de ne pas commercialiser de produit avant au moins cinq ans, positionnant AMI Labs comme une organisation de recherche pure. Son approche repose sur des architectures d'IA modulaires composées de plusieurs blocs spécialisés : un modèle du monde propre au domaine d'application, un acteur chargé de proposer des actions via l'apprentissage par renforcement, un module critique qui évalue ces options selon des règles fixes, un système de perception adapté au type de données traité (vidéo, texte, audio), une mémoire à court terme, et un configurateur orchestrant l'ensemble. Chaque instance serait entraînée uniquement sur des données pertinentes à son environnement, contrairement aux grands modèles de langage nourris de l'intégralité du web. Cette approche remet fondamentalement en question le paradigme dominant des LLMs comme GPT ou Claude. Là où ces modèles généralistes mobilisent des centaines de milliards de paramètres et nécessitent une infrastructure colossale pour fonctionner, les modules spécialisés d'AMI Labs pourraient se contenter de quelques centaines de millions de paramètres, voire tourner directement sur un appareil local. Le coût d'entraînement et d'inférence serait alors une fraction de celui des modèles actuels, rendant l'IA viable pour des acteurs qui ne disposent pas des ressources d'Anthropic, OpenAI, Google ou Meta. Pour les entreprises, cela ouvrirait la voie à des systèmes IA déployables en interne, sans dépendance aux grandes plateformes cloud. Le contexte donne tout son poids à cette prise de position. Les LLMs ont absorbé des ressources exponentiellement croissantes à chaque génération, et les techniques d'amélioration récentes, comme le prompting récursif des modèles de raisonnement, alourdissent encore la facture. Seuls de très grands groupes peuvent aujourd'hui se permettre de les exploiter à perte. LeCun, l'un des pères fondateurs du deep learning et lauréat du prix Turing 2018, défend depuis plusieurs années l'idée que les LLMs constituent une impasse pour atteindre une intelligence artificielle véritablement générale. Des précédents existent : les systèmes d'apprentissage automatique capables de maîtriser des jeux vidéo ou de plateau illustrent déjà la puissance des approches ciblées. Si AMI Labs parvient à ses fins, l'industrie pourrait connaître un rééquilibrage majeur, fragmentant un marché aujourd'hui dominé par une poignée d'acteurs disposant de budgets quasi illimités.

UESi l'approche modulaire d'AMI Labs aboutit, les entreprises européennes moins capitalisées pourraient déployer des systèmes IA en interne sans dépendance aux grandes plateformes cloud américaines.

RechercheOpinion

1 source

3FrenchWeb

CuspAI, ou la promesse d’une science accélérée par l’intelligence artificielle

CuspAI, startup britannique fondée en 2024 par Chad Edwards, s'est imposée comme l'un des acteurs les plus prometteurs de l'IA appliquée à la découverte de matériaux. La société développe une plateforme d'intelligence artificielle capable de modéliser et prédire les propriétés de nouveaux matériaux en une fraction du temps qu'exigerait l'expérimentation classique en laboratoire. Après avoir levé plusieurs dizaines de millions de dollars auprès d'investisseurs spécialisés dans les deeptech, CuspAI entend accélérer des cycles de R&D qui s'étendent habituellement sur une décennie. L'enjeu est considérable : la découverte de nouveaux matériaux conditionne des secteurs entiers, des batteries pour véhicules électriques aux semi-conducteurs, en passant par les panneaux solaires et les matériaux de construction à faible empreinte carbone. En réduisant de plusieurs années le délai entre l'idée et le prototype validé, CuspAI pourrait déverrouiller des goulots d'étranglement qui freinent la transition énergétique et l'industrie manufacturière mondiale. Pour les laboratoires et les industriels, il s'agit d'un changement de paradigme comparable à ce que la simulation numérique a représenté dans les années 1980. Cette ambition s'inscrit dans une vague plus large d'IA scientifique, dite « AI for science », portée aussi bien par DeepMind avec AlphaFold que par des startups comme Insilico Medicine dans le médicament ou Orbital Materials dans les matériaux avancés. CuspAI se différencie par sa focalisation sur les matériaux solides et sa volonté de s'intégrer directement dans les flux de travail industriels, visant des partenariats avec de grands groupes chimiques et énergétiques plutôt qu'une approche purement académique.

UELes industriels européens engagés dans la transition énergétique (batteries, panneaux solaires, matériaux bas carbone) pourraient bénéficier directement de la plateforme CuspAI pour accélérer leurs cycles de R&D.

RecherchePaper

1 source

4MarkTechPost

Google Cloud présente ReasoningBank : mémoire de stratégies de raisonnement tirées des succès et échecs d'agents

Une équipe de chercheurs de Google Cloud AI, de l'Université de l'Illinois à Urbana-Champaign et de l'Université Yale a présenté ReasoningBank, un cadre mémoire destiné aux agents IA qui distille les stratégies de raisonnement à partir de leurs réussites comme de leurs échecs. Le système fonctionne en trois étapes exécutées autour de chaque tâche accomplie : récupération mémoire, extraction mémoire, et consolidation mémoire. Avant de démarrer une nouvelle tâche, l'agent interroge ReasoningBank via une recherche par similarité vectorielle pour récupérer l'élément de mémoire le plus pertinent, injecté directement dans son prompt système. Les expériences d'ablation montrent qu'un seul élément récupéré (k=1) donne de meilleurs résultats qu'un lot plus large : le taux de succès atteint 49,7% avec k=1, contre 44,4% avec k=4. Une fois la tâche terminée, un extracteur de mémoire analyse la trajectoire et la condense en items structurés comportant un titre, une description en une phrase, et un contenu de 1 à 3 phrases. Pour évaluer si la tâche était réussie ou non, le système emploie un LLM-as-a-Judge, qui reste robuste même lorsque sa précision descend à 70%. Le problème que ReasoningBank cherche à résoudre est fondamental : les agents IA actuels souffrent d'une amnésie structurelle. Chaque tâche est abordée comme si aucune expérience antérieure n'existait, et les leçons apprises disparaissent dès la fin de l'exécution. Les approches existantes n'y remédient qu'en partie. La mémoire de trajectoire brute, utilisée par le système Synapse, enregistre chaque action mais génère trop de bruit pour être directement réutilisable. La mémoire de flux, mise en oeuvre dans Agent Workflow Memory, extrait des procédures réutilisables, mais uniquement à partir des succès, ce qui élimine le signal d'apprentissage contenu dans les échecs. ReasoningBank traite les deux de manière asymétrique : les réussites fournissent des stratégies validées, les échecs alimentent des mises en garde et des leçons préventives. Les chercheurs poussent le système plus loin avec MaTTS, une approche de mise à l'échelle au moment du test combinée à la mémoire. Plutôt que de générer plusieurs trajectoires pour une tâche et n'en conserver qu'une, MaTTS exploite l'ensemble de ces trajectoires comme signal contrastif pour enrichir ReasoningBank. Cette technique s'appuie sur une tendance déjà bien établie en raisonnement mathématique et en programmation, où le calcul supplémentaire au moment de l'inférence améliore nettement les performances. L'enjeu dépasse la simple optimisation technique : il s'agit de permettre aux agents déployés en entreprise, sur des tâches web, de résolution de bugs ou de navigation d'interface, de capitaliser sur leur expérience accumulée plutôt que de la jeter après chaque session.

RecherchePaper

1 source