RechercheHuggingFace Blog14sem

Déverrouiller l'entraînement RL agissant pour GPT-OSS : un retour d'expérience pratique

Résumé IASource uniqueImpact UE

Titre: Déverrouiller l'entraînement RL agissant pour GPT-OSS : un retour d'expérience pratique

Résumé: L'article discute de l'expérience acquise lors de l'application de l'apprentissage par renforcement (RL) agissant à GPT-OSS, un modèle de langage open-source. Les chercheurs ont mis en évidence les défis rencontrés et les solutions trouvées, mettant l'accent sur l'importance de l'optimisation des ressources pour une meilleure efficacité.

Impact France/UE

L'application de l'apprentissage par renforcement agissant à GPT-OSS, un modèle de langage open-source, offre aux entreprises françaises et européennes des opportunités d'optimisation des ressources pour améliorer l'efficacité de leurs systèmes d'intelligence artificielle, en respectant les directives de l'AI Act et le RGPD.

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

1OpenAI Blog

Titre traduit: Expériences précoces sur l'accélération de la science avec GPT-5

OpenAI présente des premières expériences montrant comment GPT-5 accélère les progrès scientifiques en mathématiques, physique, biologie et informatique. La collaboration entre l'IA et les chercheurs permet de générer des preuves, de découvrir des insights nouveaux et de transformer le rythme de la découverte scientifique.

RecherchePaper

1 source

2MarkTechPost

Google AI publie WAXAL : un jeu de données vocales africaines multilingues pour entraîner des modèles de reconnaissance automatique de la parole et de synthèse vocale

Google et ses collaborateurs lancent WAXAL, un jeu de données vocal multilingue open-source couvrant 24 langues africaines, conçu pour entraîner des modèles de reconnaissance vocale (ASR) et de synthèse vocale (TTS). Le volet ASR s'appuie sur des enregistrements naturels guidés par images, avec transcriptions réalisées par des experts linguistiques locaux, tandis que le volet TTS repose sur des enregistrements studio de haute qualité (~16h par locuteur), avec 72 acteurs vocaux et des scripts phonétiquement équilibrés d'environ 108 500 mots par langue. Ce projet vise à combler le manque criant de données pour les langues africaines, encore très sous-représentées dans les corpus ouverts.

UELa France, en tant qu'acteur majeur de la francophonie africaine, pourrait bénéficier de ces ressources pour développer des outils vocaux adaptés aux communautés africaines présentes sur son territoire.

RecherchePaper

1 source

3Apple Machine Learning

Entraînement par anticipation latente pour les Transformers

Des chercheurs ont présenté une nouvelle méthode d'entraînement pour les modèles de langage appelée « Latent Lookahead Training », acceptée au workshop ICLR 2026 sur la réflexion latente et implicite. Cette approche s'attaque à une limitation fondamentale des modèles autorégressifs actuels : la prédiction token par token, qui oblige le modèle à se figer sur un choix à chaque étape sans pouvoir explorer plusieurs continuations possibles. De plus, le calcul est distribué de manière uniforme entre tous les tokens, même quand certains sont bien plus complexes que d'autres. Cette contrainte n'est pas anodine — elle bride directement la capacité des modèles à planifier ou à « réfléchir » avant de s'engager dans une direction. En permettant au modèle d'anticiper dans un espace latent avant de produire chaque token, le Latent Lookahead vise à allouer plus de calcul là où c'est nécessaire et à ouvrir la porte à une forme de délibération interne, sans passer par le Chain-of-Thought explicite. La recherche s'inscrit dans un mouvement plus large visant à dépasser les limites du raisonnement en chaîne visible, en explorant comment les modèles peuvent développer une forme de pensée implicite plus flexible et efficace.

RecherchePaper

1 source

4MarkTechPost

L'optimisation bayésienne : pourquoi la nouvelle méthode d'entraînement de Google AI est la clé du raisonnement des LLM

Des chercheurs de Google ont identifié une limite majeure des LLMs comme Llama-3-70B et Qwen-2.5-32B : leur incapacité à mettre à jour leurs "croyances" au fil des interactions, plafonnant dès le premier échange. Ils ont développé le Bayesian Teaching, une technique d'entraînement qui apprend aux modèles à raisonner comme un assistant bayésien — en maintenant et mettant à jour une distribution de probabilités sur les préférences utilisateur à chaque round. Contre-intuitivement, entraîner les modèles sur des "suppositions éclairées" (souvent fausses en début d'apprentissage) s'est révélé plus efficace que de les entraîner sur les bonnes réponses, permettant à des modèles comme Gemma-2-9B et Llama-3-8B d'approcher les performances du modèle bayésien de référence.

RecherchePaper

1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour