RechercheApple Machine Learning · 23 avr. 2026, 03:00· 1 min de lecture

ParaRNN : RNNs non linéaires à grande échelle, entraînables en parallèle

Des chercheurs d'Apple ont publié ParaRNN, une méthode qui permet d'entraîner en parallèle des réseaux de neurones récurrents (RNN) non linéaires à grande échelle. Historiquement, les RNN se heurtaient à un obstacle fondamental : leur calcul séquentiel rendait impossible de les entraîner efficacement sur des milliards de paramètres, contrairement aux architectures basées sur l'attention comme les Transformers. ParaRNN contourne cette limitation en débloquant la parallélisation de l'entraînement, ouvrant pour la première fois la voie à des RNN comparables en taille aux grands modèles de langage actuels.

L'enjeu est considérable pour l'industrie de l'IA. Les RNN ont un avantage majeur à l'inférence : ils consomment beaucoup moins de mémoire et de calcul que les Transformers, ce qui les rend particulièrement attractifs pour les déploiements sur appareils contraints, smartphones, wearables, systèmes embarqués. Jusqu'ici, cette efficacité à l'inférence était contrebalancée par l'impossibilité de les entraîner à l'échelle. ParaRNN change cette équation et élargit concrètement le choix d'architectures disponibles aux praticiens qui conçoivent des LLM pour des environnements à ressources limitées.

Ce travail s'inscrit dans un effort plus large de l'industrie pour trouver des alternatives aux Transformers, dont les coûts computationnels explosent avec la taille. Des architectures comme Mamba, RWKV ou les modèles d'état linéaires (SSM) ont déjà relancé l'intérêt pour les approches séquentielles. Qu'Apple s'engage sur ce terrain avec une contribution de recherche fondamentale signale un intérêt stratégique évident pour des modèles embarqués performants, en cohérence avec son positionnement autour de l'IA on-device dans ses produits.

Cet article vous a été utile ?

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

1Apple Machine Learning

Les propriétés de mise à l'échelle des métriques aval dans l'entraînement des grands modèles de langage

Une équipe de chercheurs vient de publier un article remettant en question une idée bien établie dans le domaine des grands modèles de langage (LLM) : la difficulté à prédire les performances réelles des modèles à partir de leur budget d'entraînement. Jusqu'ici, les lois d'échelle (scaling laws) se concentraient principalement sur des métriques intermédiaires comme la perte lors du pré-entraînement (pretraining loss), considérées comme des proxies fiables mais éloignées des usages concrets. Les chercheurs proposent un cadre direct pour modéliser comment les performances sur des benchmarks évoluent en fonction du budget de calcul alloué à l'entraînement. Le résultat central est qu'en maintenant un ratio fixe entre le nombre de tokens et le nombre de paramètres, une simple loi de puissance (power law) suffit à décrire avec précision l'évolution de la précision logarithmique sur plusieurs tâches de référence populaires. Plus significatif encore, cette approche directe extrapole mieux que la procédure en deux étapes proposée précédemment dans la littérature, ce qui ouvre la voie à des prédictions de performances plus fiables avant même d'entraîner un modèle de grande taille. Ce travail s'inscrit dans un effort plus large de l'industrie pour optimiser les coûts d'entraînement, qui atteignent des dizaines à centaines de millions de dollars pour les modèles frontier. Pouvoir anticiper directement les performances sur des tâches concrètes — plutôt que sur des métriques abstraites — permettrait aux laboratoires comme OpenAI, Google DeepMind ou Anthropic de mieux planifier leurs investissements en calcul et d'identifier plus tôt les architectures prometteuses.

RecherchePaper

1 source

2Apple Machine Learning

Propriétés de mise à l'échelle des modèles de langage parlé à diffusion continue

Les chercheurs à l'origine de cette étude s'attaquent à un problème connu des modèles de langage parlé (SLM) : les versions qui traitent uniquement l'audio restent nettement moins performantes que les modèles combinant texte et parole, ou que les modèles de texte seuls. Les SLM autorégressifs (AR) discrets, l'approche dominante jusqu'ici, nécessitent des ressources de calcul et des volumes de données considérables pour espérer rivaliser avec les modèles textuels. L'équipe propose une alternative fondée sur la diffusion continue (CD), qui évite l'étape de discrétisation de la parole jugée responsable d'un goulot d'étranglement dans les architectures AR. Pour évaluer objectivement la qualité linguistique produite par ces modèles, elle introduit une nouvelle métrique, la divergence de Jensen-Shannon phonémique (pJSD). Cette contribution est importante car elle ouvre une voie alternative pour construire des assistants vocaux et des systèmes de synthèse ou de compréhension de la parole plus efficaces, sans dépendre des coûts prohibitifs associés aux modèles autorégressifs discrets. Si les modèles à diffusion continue permettent d'atteindre une qualité comparable avec moins de ressources, cela pourrait accélérer le développement de SLM plus économes en données et en puissance de calcul, un enjeu central pour les entreprises qui cherchent à déployer des interfaces vocales à grande échelle. Le contexte plus large est celui d'une course à la modélisation du langage parlé, où le texte reste en avance sur l'audio en termes de performance et d'efficacité d'entraînement. Les modèles autorégressifs, hérités des grands modèles de langage textuels, imposent une conversion de la parole en unités discrètes qui limite leur capacité à capter les nuances du signal audio. En montrant que les modèles à diffusion continue suivent des lois d'échelle similaires à celles des modèles AR pour la perte de validation et la métrique pJSD, avec un ratio optimal entre nombre de tokens et de paramètres, cette étude fournit des repères concrets pour orienter les futurs travaux sur l'entraînement et le dimensionnement des SLM.

RecherchePaper

1 source

3NVIDIA Developer Blog

BioNeMo de NVIDIA : mise à l'échelle de la modélisation biomoléculaire par parallélisme de contexte

NVIDIA a annoncé une avancée majeure dans son framework BioNeMo avec l'intégration du parallélisme de contexte, une technique permettant de distribuer le traitement de longues séquences biologiques sur plusieurs GPU simultanément. Pendant des décennies, la biologie computationnelle s'était heurtée à une contrainte fondamentale : la mémoire limitée d'un seul GPU obligeait les chercheurs à fragmenter les protéines complexes en sous-unités isolées pour les modéliser. BioNeMo franchit désormais ce seuil en permettant le repliement de protéines entières et de complexes moléculaires sans découpage préalable, ce que les spécialistes appellent le repliement "zero-shot". L'impact est direct pour les laboratoires pharmaceutiques et les équipes de biologie structurale : modéliser des protéines longues ou des assemblages multi-chaînes avec précision, sans sacrifier la cohérence structurelle liée à la fragmentation artificielle. Le "fossé de contexte", cet angle mort où les grandes molécules devenaient inaccessibles aux modèles d'IA faute de mémoire, disparaît avec cette approche, ouvrant la voie à des prédictions structurelles bien plus fidèles à la réalité cellulaire. Cette évolution s'inscrit dans la course que se livrent les grands acteurs technologiques pour dominer la biologie computationnelle à l'ère de l'IA. NVIDIA positionne BioNeMo comme la plateforme de référence pour les modèles de fondation biomoléculaires, face à des concurrents comme DeepMind avec AlphaFold ou Evo de Arc Institute. Le parallélisme de contexte, déjà éprouvé dans la formation de grands modèles de langage via Megatron-LM, est ici adapté aux spécificités des séquences biologiques, signal fort que les techniques d'entraînement LLM migrent activement vers les sciences du vivant.

UELes laboratoires pharmaceutiques et instituts de recherche européens (Sanofi, Institut Pasteur, universités de médecine) pourraient bénéficier d'une modélisation protéique plus précise et sans fragmentation, accélérant potentiellement la découverte de médicaments et la recherche biomédicale.

RecherchePaper

1 source

4Microsoft Research

SkillOpt : les compétences d'agents traitées comme des paramètres entraînables

Des chercheurs ont présenté SkillOpt, une nouvelle méthode qui transforme les compétences (skills) des agents d'intelligence artificielle en paramètres entraînables, sans modifier les poids du modèle sous-jacent. Concrètement, SkillOpt traite le fichier de compétences d'un agent, c'est-à-dire les instructions qui guident son comportement, comme une couche d'optimisation distincte, gérée par un modèle "optimiseur" séparé tandis que le modèle cible reste figé. Le système a été testé sur six benchmarks, sept modèles cibles différents et trois modes d'exécution, soit 52 combinaisons d'évaluation au total. Dans chacune de ces 52 cellules, SkillOpt s'est révélé être la meilleure méthode, ou ex aequo avec la meilleure, ce qui en fait l'approche la plus systématiquement performante testée à ce jour pour ce type d'optimisation. Le processus fonctionne par cycles successifs : le modèle cible exécute des tâches d'entraînement avec la compétence actuelle, un modèle optimiseur analyse ensuite les trajectoires obtenues pour repérer ce qui a fonctionné et ce qui a échoué, puis propose des modifications ciblées (ajouts, suppressions, remplacements) limitées par un budget d'édition strict, comparable à un taux d'apprentissage. Cette approche répond à un problème concret et de plus en plus pressant à mesure que les agents IA passent du prototype au déploiement en production : aujourd'hui, les compétences des agents sont écrites à la main par des experts, générées en une seule fois par un modèle de pointe, ou révisées de façon informelle après exécution. Aucune de ces méthodes ne dispose de garde-fous propres à l'apprentissage automatique, comme un contrôle de la taille des pas, une validation sur des données tenues à l'écart, ou une mémoire des révisions ayant échoué. Résultat : les fichiers de compétences ont tendance à s'allonger et à dériver au fil des réécritures, et une modification qui semble raisonnable peut en réalité dégrader silencieusement les performances réelles de l'agent, ce qui mine la fiabilité nécessaire à un usage professionnel. Pour éviter cette dérive incontrôlée, chaque modification candidate doit passer une validation stricte : elle n'est adoptée que si elle obtient un score strictement supérieur à la version actuelle sur un jeu de validation séparé. Les modifications rejetées ne sont pas perdues pour autant : elles alimentent une mémoire d'échecs qui sert de retour négatif pour guider les prochaines propositions. Un mécanisme de mise à jour plus lent, à l'échelle de l'epoch, consolide par ailleurs des enseignements de plus long terme que des lots de données isolés ne peuvent révéler. Les compétences ainsi optimisées se sont montrées transférables entre différentes tailles de modèles, différents environnements d'exécution d'agents et des tâches connexes, ce qui suggère qu'elles capturent un savoir-faire réutilisable plutôt que des instructions ajustées à un seul benchmark.

RecherchePaper

1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, l'essentiel de l'IA · désinscription en un clic