RechercheOpenAI Blog · 21 août 2025, 13:00· 1 min de lecture

Mise à l'échelle de l'expertise domaine dans des domaines complexes et régulés

Blue J emplole l'IA GPT-4.1 pour révolutionner la recherche fiscale, offrant des réponses rapides, précises et citées, fiables pour les professionnels aux États-Unis, au Canada et au Royaume-Uni. L'approche unique de Blue J mélange expertise en droit fiscal avec la génération d'aide à la mémoire par recherche.

Cet article vous a été utile ?

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

1Apple Machine Learning

Les propriétés de mise à l'échelle des métriques aval dans l'entraînement des grands modèles de langage

Une équipe de chercheurs vient de publier un article remettant en question une idée bien établie dans le domaine des grands modèles de langage (LLM) : la difficulté à prédire les performances réelles des modèles à partir de leur budget d'entraînement. Jusqu'ici, les lois d'échelle (scaling laws) se concentraient principalement sur des métriques intermédiaires comme la perte lors du pré-entraînement (pretraining loss), considérées comme des proxies fiables mais éloignées des usages concrets. Les chercheurs proposent un cadre direct pour modéliser comment les performances sur des benchmarks évoluent en fonction du budget de calcul alloué à l'entraînement. Le résultat central est qu'en maintenant un ratio fixe entre le nombre de tokens et le nombre de paramètres, une simple loi de puissance (power law) suffit à décrire avec précision l'évolution de la précision logarithmique sur plusieurs tâches de référence populaires. Plus significatif encore, cette approche directe extrapole mieux que la procédure en deux étapes proposée précédemment dans la littérature, ce qui ouvre la voie à des prédictions de performances plus fiables avant même d'entraîner un modèle de grande taille. Ce travail s'inscrit dans un effort plus large de l'industrie pour optimiser les coûts d'entraînement, qui atteignent des dizaines à centaines de millions de dollars pour les modèles frontier. Pouvoir anticiper directement les performances sur des tâches concrètes — plutôt que sur des métriques abstraites — permettrait aux laboratoires comme OpenAI, Google DeepMind ou Anthropic de mieux planifier leurs investissements en calcul et d'identifier plus tôt les architectures prometteuses.

RecherchePaper

1 source

2Apple Machine Learning

Propriétés de mise à l'échelle des modèles de langage parlé à diffusion continue

Les chercheurs à l'origine de cette étude s'attaquent à un problème connu des modèles de langage parlé (SLM) : les versions qui traitent uniquement l'audio restent nettement moins performantes que les modèles combinant texte et parole, ou que les modèles de texte seuls. Les SLM autorégressifs (AR) discrets, l'approche dominante jusqu'ici, nécessitent des ressources de calcul et des volumes de données considérables pour espérer rivaliser avec les modèles textuels. L'équipe propose une alternative fondée sur la diffusion continue (CD), qui évite l'étape de discrétisation de la parole jugée responsable d'un goulot d'étranglement dans les architectures AR. Pour évaluer objectivement la qualité linguistique produite par ces modèles, elle introduit une nouvelle métrique, la divergence de Jensen-Shannon phonémique (pJSD). Cette contribution est importante car elle ouvre une voie alternative pour construire des assistants vocaux et des systèmes de synthèse ou de compréhension de la parole plus efficaces, sans dépendre des coûts prohibitifs associés aux modèles autorégressifs discrets. Si les modèles à diffusion continue permettent d'atteindre une qualité comparable avec moins de ressources, cela pourrait accélérer le développement de SLM plus économes en données et en puissance de calcul, un enjeu central pour les entreprises qui cherchent à déployer des interfaces vocales à grande échelle. Le contexte plus large est celui d'une course à la modélisation du langage parlé, où le texte reste en avance sur l'audio en termes de performance et d'efficacité d'entraînement. Les modèles autorégressifs, hérités des grands modèles de langage textuels, imposent une conversion de la parole en unités discrètes qui limite leur capacité à capter les nuances du signal audio. En montrant que les modèles à diffusion continue suivent des lois d'échelle similaires à celles des modèles AR pour la perte de validation et la métrique pJSD, avec un ratio optimal entre nombre de tokens et de paramètres, cette étude fournit des repères concrets pour orienter les futurs travaux sur l'entraînement et le dimensionnement des SLM.

RecherchePaper

1 source

3Apple Machine Learning

Générer des tâches synthétiques pour agents à grande échelle grâce à l'exploration

AutoPlay est une approche scalable pour générer automatiquement des datasets de tâches agentiques de haute qualité, destinés à l'entraînement de modèles multimodaux (MLLMs) pour des agents interactifs. Le système explore les environnements en aval (navigation web, utilisation d'ordinateur, robotique) pour produire des tâches diversifiées, faisables et vérifiables, sans recourir à l'annotation humaine coûteuse. Cette méthode résout la limite des approches existantes qui génèrent des tâches à faible couverture faute d'informations suffisantes sur l'environnement cible.

RecherchePaper

1 source

4NVIDIA Developer Blog

BioNeMo de NVIDIA : mise à l'échelle de la modélisation biomoléculaire par parallélisme de contexte

NVIDIA a annoncé une avancée majeure dans son framework BioNeMo avec l'intégration du parallélisme de contexte, une technique permettant de distribuer le traitement de longues séquences biologiques sur plusieurs GPU simultanément. Pendant des décennies, la biologie computationnelle s'était heurtée à une contrainte fondamentale : la mémoire limitée d'un seul GPU obligeait les chercheurs à fragmenter les protéines complexes en sous-unités isolées pour les modéliser. BioNeMo franchit désormais ce seuil en permettant le repliement de protéines entières et de complexes moléculaires sans découpage préalable, ce que les spécialistes appellent le repliement "zero-shot". L'impact est direct pour les laboratoires pharmaceutiques et les équipes de biologie structurale : modéliser des protéines longues ou des assemblages multi-chaînes avec précision, sans sacrifier la cohérence structurelle liée à la fragmentation artificielle. Le "fossé de contexte", cet angle mort où les grandes molécules devenaient inaccessibles aux modèles d'IA faute de mémoire, disparaît avec cette approche, ouvrant la voie à des prédictions structurelles bien plus fidèles à la réalité cellulaire. Cette évolution s'inscrit dans la course que se livrent les grands acteurs technologiques pour dominer la biologie computationnelle à l'ère de l'IA. NVIDIA positionne BioNeMo comme la plateforme de référence pour les modèles de fondation biomoléculaires, face à des concurrents comme DeepMind avec AlphaFold ou Evo de Arc Institute. Le parallélisme de contexte, déjà éprouvé dans la formation de grands modèles de langage via Megatron-LM, est ici adapté aux spécificités des séquences biologiques, signal fort que les techniques d'entraînement LLM migrent activement vers les sciences du vivant.

UELes laboratoires pharmaceutiques et instituts de recherche européens (Sanofi, Institut Pasteur, universités de médecine) pourraient bénéficier d'une modélisation protéique plus précise et sans fragmentation, accélérant potentiellement la découverte de médicaments et la recherche biomédicale.

RecherchePaper

1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, l'essentiel de l'IA · désinscription en un clic