RechercheApple Machine Learning · 7 août 2026, 04:00· 1 min de lecture

Mise à l'échelle des cartes de flux catégorielles

Les modèles de diffusion continue et de flow matching pourraient constituer une alternative sérieuse aux approches autorégressives utilisées aujourd'hui pour la modélisation du langage. Des travaux de recherche récents montrent qu'il est possible de générer des données discrètes, comme du texte, par un processus continu de flow matching reliant une distribution gaussienne à la distribution des données encodées en one-hot. Cette approche a permis de développer les Categorical Flow Maps (CFM), une technique qui accélère l'échantillonnage tout en produisant des résultats de qualité comparable aux méthodes existantes. L'enjeu de ces travaux est désormais de faire passer cette technique à l'échelle, c'est-à-dire de vérifier qu'elle reste efficace et compétitive lorsqu'elle est appliquée à des modèles de langage de grande taille, au-delà des démonstrations initiales à plus petite échelle.

Cette avancée compte parce qu'elle pourrait transférer au traitement du texte des avantages jusqu'ici réservés aux modalités continues comme l'image ou la vidéo, notamment une génération beaucoup plus rapide et un meilleur contrôle du contenu produit, ce que les chercheurs appellent le tilting. Pour l'industrie, cela ouvrirait la voie à des modèles de langage capables de produire du texte en moins d'étapes de calcul que les architectures autorégressives classiques, réduisant les coûts d'inférence tout en conservant la flexibilité nécessaire pour orienter finement les sorties générées, un enjeu central pour les applications commerciales des grands modèles.

Ces recherches s'inscrivent dans un mouvement plus large qui cherche à unifier les techniques de génération entre modalités continues et discrètes. Les modèles de diffusion dominent déjà la génération d'images et de vidéos, tandis que les architectures autorégressives de type transformeur restent la norme pour le texte. En démontrant que le flow matching catégoriel peut rivaliser avec ces dernières tout en accélérant l'échantillonnage, ces travaux alimentent un débat en cours sur l'avenir architectural des modèles de langage, avec des implications potentielles pour la prochaine génération de systèmes conversationnels à grande échelle.

Cet article vous a été utile ?

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

1Apple Machine Learning

Propriétés de mise à l'échelle des modèles de langage parlé à diffusion continue

Les chercheurs à l'origine de cette étude s'attaquent à un problème connu des modèles de langage parlé (SLM) : les versions qui traitent uniquement l'audio restent nettement moins performantes que les modèles combinant texte et parole, ou que les modèles de texte seuls. Les SLM autorégressifs (AR) discrets, l'approche dominante jusqu'ici, nécessitent des ressources de calcul et des volumes de données considérables pour espérer rivaliser avec les modèles textuels. L'équipe propose une alternative fondée sur la diffusion continue (CD), qui évite l'étape de discrétisation de la parole jugée responsable d'un goulot d'étranglement dans les architectures AR. Pour évaluer objectivement la qualité linguistique produite par ces modèles, elle introduit une nouvelle métrique, la divergence de Jensen-Shannon phonémique (pJSD). Cette contribution est importante car elle ouvre une voie alternative pour construire des assistants vocaux et des systèmes de synthèse ou de compréhension de la parole plus efficaces, sans dépendre des coûts prohibitifs associés aux modèles autorégressifs discrets. Si les modèles à diffusion continue permettent d'atteindre une qualité comparable avec moins de ressources, cela pourrait accélérer le développement de SLM plus économes en données et en puissance de calcul, un enjeu central pour les entreprises qui cherchent à déployer des interfaces vocales à grande échelle. Le contexte plus large est celui d'une course à la modélisation du langage parlé, où le texte reste en avance sur l'audio en termes de performance et d'efficacité d'entraînement. Les modèles autorégressifs, hérités des grands modèles de langage textuels, imposent une conversion de la parole en unités discrètes qui limite leur capacité à capter les nuances du signal audio. En montrant que les modèles à diffusion continue suivent des lois d'échelle similaires à celles des modèles AR pour la perte de validation et la métrique pJSD, avec un ratio optimal entre nombre de tokens et de paramètres, cette étude fournit des repères concrets pour orienter les futurs travaux sur l'entraînement et le dimensionnement des SLM.

RecherchePaper

1 source

2Apple Machine Learning

Les propriétés de mise à l'échelle des métriques aval dans l'entraînement des grands modèles de langage

Une équipe de chercheurs remet en question une croyance bien ancrée dans le domaine des grands modèles de langage : la performance sur les tâches réelles serait imprévisible à partir du budget d'entraînement. Leur étude propose un cadre direct pour modéliser la progression des benchmarks en fonction des ressources investies, et les résultats sont convaincants. L'enjeu est considérable pour l'industrie. Jusqu'ici, les équipes s'appuyaient sur des métriques intermédiaires comme la perte de pré-entraînement (pretraining loss) pour estimer les capacités futures d'un modèle, sans pouvoir prédire directement ce que ce modèle ferait sur des tâches concrètes. Cette incertitude complique les décisions d'investissement : faut-il entraîner un modèle plus grand, ou sur plus de données ? La réponse restait floue. Les chercheurs démontrent que pour un ratio tokens/paramètres fixé, une simple loi de puissance (power law) suffit à décrire avec précision l'évolution du logarithme de l'accuracy sur plusieurs benchmarks populaires. Contrairement à la procédure en deux étapes proposée précédemment dans la littérature, qui consiste à prédire la loss, puis à convertir cette loss en performance, leur approche directe extrapole mieux et de façon plus fiable. Ces résultats pourraient changer la façon dont les laboratoires planifient leurs runs d'entraînement. Pouvoir anticiper directement la performance sur des tâches aval (downstream tasks), sans passer par une métrique proxy, permettrait d'allouer les budgets de calcul avec plus de précision, de réduire les expériences coûteuses à l'aveugle, et d'accélérer les cycles de développement des futurs LLMs.

RecherchePaper

1 source

3NVIDIA Developer Blog

BioNeMo de NVIDIA : mise à l'échelle de la modélisation biomoléculaire par parallélisme de contexte

NVIDIA a annoncé une avancée majeure dans son framework BioNeMo avec l'intégration du parallélisme de contexte, une technique permettant de distribuer le traitement de longues séquences biologiques sur plusieurs GPU simultanément. Pendant des décennies, la biologie computationnelle s'était heurtée à une contrainte fondamentale : la mémoire limitée d'un seul GPU obligeait les chercheurs à fragmenter les protéines complexes en sous-unités isolées pour les modéliser. BioNeMo franchit désormais ce seuil en permettant le repliement de protéines entières et de complexes moléculaires sans découpage préalable, ce que les spécialistes appellent le repliement "zero-shot". L'impact est direct pour les laboratoires pharmaceutiques et les équipes de biologie structurale : modéliser des protéines longues ou des assemblages multi-chaînes avec précision, sans sacrifier la cohérence structurelle liée à la fragmentation artificielle. Le "fossé de contexte", cet angle mort où les grandes molécules devenaient inaccessibles aux modèles d'IA faute de mémoire, disparaît avec cette approche, ouvrant la voie à des prédictions structurelles bien plus fidèles à la réalité cellulaire. Cette évolution s'inscrit dans la course que se livrent les grands acteurs technologiques pour dominer la biologie computationnelle à l'ère de l'IA. NVIDIA positionne BioNeMo comme la plateforme de référence pour les modèles de fondation biomoléculaires, face à des concurrents comme DeepMind avec AlphaFold ou Evo de Arc Institute. Le parallélisme de contexte, déjà éprouvé dans la formation de grands modèles de langage via Megatron-LM, est ici adapté aux spécificités des séquences biologiques, signal fort que les techniques d'entraînement LLM migrent activement vers les sciences du vivant.

UELes laboratoires pharmaceutiques et instituts de recherche européens (Sanofi, Institut Pasteur, universités de médecine) pourraient bénéficier d'une modélisation protéique plus précise et sans fragmentation, accélérant potentiellement la découverte de médicaments et la recherche biomédicale.

RecherchePaper

1 source

4Apple Machine Learning

ParaRNN : RNNs non linéaires à grande échelle, entraînables en parallèle

Des chercheurs d'Apple ont publié ParaRNN, une méthode qui permet d'entraîner en parallèle des réseaux de neurones récurrents (RNN) non linéaires à grande échelle. Historiquement, les RNN se heurtaient à un obstacle fondamental : leur calcul séquentiel rendait impossible de les entraîner efficacement sur des milliards de paramètres, contrairement aux architectures basées sur l'attention comme les Transformers. ParaRNN contourne cette limitation en débloquant la parallélisation de l'entraînement, ouvrant pour la première fois la voie à des RNN comparables en taille aux grands modèles de langage actuels. L'enjeu est considérable pour l'industrie de l'IA. Les RNN ont un avantage majeur à l'inférence : ils consomment beaucoup moins de mémoire et de calcul que les Transformers, ce qui les rend particulièrement attractifs pour les déploiements sur appareils contraints, smartphones, wearables, systèmes embarqués. Jusqu'ici, cette efficacité à l'inférence était contrebalancée par l'impossibilité de les entraîner à l'échelle. ParaRNN change cette équation et élargit concrètement le choix d'architectures disponibles aux praticiens qui conçoivent des LLM pour des environnements à ressources limitées. Ce travail s'inscrit dans un effort plus large de l'industrie pour trouver des alternatives aux Transformers, dont les coûts computationnels explosent avec la taille. Des architectures comme Mamba, RWKV ou les modèles d'état linéaires (SSM) ont déjà relancé l'intérêt pour les approches séquentielles. Qu'Apple s'engage sur ce terrain avec une contribution de recherche fondamentale signale un intérêt stratégique évident pour des modèles embarqués performants, en cohérence avec son positionnement autour de l'IA on-device dans ses produits.

RecherchePaper

1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, l'essentiel de l'IA · désinscription en un clic