Aller au contenu principal
LLMsInfoQ AI51min· 1 min de lecture

Fine-tuner l'entreprise : le reinforcement learning en pratique

Source originale ↗·

Fin novembre 2025, lors d'une présentation intitulée « Fine Tuning the Enterprise: Reinforcement Learning in Practice », les intervenants Wenjie Zi et Will Hang ont détaillé Agent RFT, la plateforme d'OpenAI dédiée au fine-tuning de modèles de raisonnement par apprentissage par renforcement. Le principe repose sur des interactions en temps réel avec des outils externes et des signaux de récompense personnalisés, définis par les entreprises clientes selon leurs propres critères de réussite. Les deux experts ont expliqué comment cette approche permet de résoudre un problème technique complexe connu sous le nom d'assignation de crédit, c'est-à-dire déterminer quelles étapes précises d'un raisonnement long ont réellement contribué au résultat final, à l'intérieur même de la fenêtre de contexte du modèle.

Cette avancée compte particulièrement pour les entreprises qui déploient des agents IA sur des tâches complexes et répétitives. Selon les retours d'expérience partagés lors de la présentation, Agent RFT permet d'éliminer les boucles de tokens improductives en fin de raisonnement, un phénomène fréquent où le modèle continue de générer du texte sans converger vers une solution. Le résultat concret est un gain d'efficacité important, avec une réduction du nombre de tokens consommés et donc des coûts d'inférence, tout en améliorant la fiabilité des réponses produites par les agents dans des contextes professionnels réels.

Cette présentation s'inscrit dans une tendance plus large du secteur de l'IA, où les grands fournisseurs de modèles cherchent à donner aux entreprises davantage de contrôle sur le comportement de leurs agents via le fine-tuning par renforcement, plutôt que par le seul prompt engineering. OpenAI positionne ainsi Agent RFT comme un outil permettant aux équipes techniques de personnaliser finement les récompenses selon leurs propres métriques métier. Les cas d'usage cités suggèrent que cette technique pourrait devenir un standard pour les organisations cherchant à industrialiser des agents IA fiables et économes en ressources de calcul.

Dans nos dossiers

Cet article vous a été utile ?

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

Guide pratique : affiner un LLM avec TRL, du supervised fine-tuning au raisonnement DPO et GRPO
1MarkTechPost 

Guide pratique : affiner un LLM avec TRL, du supervised fine-tuning au raisonnement DPO et GRPO

Un guide complet consacré à l'entraînement post-initialisation des grands modèles de langage vient d'être publié, proposant une progression pédagogique couvrant quatre techniques clés : le réglage fin supervisé (SFT), la modélisation de récompense (RM), l'optimisation directe des préférences (DPO) et l'optimisation de politique par groupe relatif (GRPO). Le tutoriel s'appuie sur la bibliothèque TRL (Transformer Reinforcement Learning), développée et maintenue par Hugging Face, combinée à des outils comme PEFT et LoRA, qui permettent de réduire drastiquement la mémoire nécessaire. Point notable : l'ensemble du pipeline peut tourner sur un GPU T4 de Google Colab, soit environ 15 Go de VRAM, rendant ces techniques accessibles à quiconque dispose d'un compte Google. Le modèle de base utilisé est Qwen2.5-0.5B-Instruct, un modèle léger de 500 millions de paramètres développé par Alibaba, qui sert de point de départ à chacune des quatre étapes d'alignement. Ce guide se distingue par sa complétude : peu de tutoriels enchaînent l'intégralité du pipeline d'alignement, du SFT jusqu'au raisonnement par GRPO, avec du code fonctionnel et des explications progressives. Pour les équipes techniques cherchant à adapter un modèle open-weight à des usages métiers spécifiques, ou à reproduire les techniques d'alignement des grands laboratoires, ce type de ressource pratique est précieux. Le GRPO notamment, popularisé par DeepSeek-R1 en janvier 2025, est désormais intégré nativement dans TRL, ce qui permet d'entraîner des modèles à raisonner par étapes vérifiables sans les coûts prohibitifs d'un pipeline RLHF classique avec modèle de récompense séparé. L'alignement des LLMs s'est imposé comme l'un des sujets centraux de l'IA depuis qu'InstructGPT d'OpenAI a montré qu'un volume relativement faible de données de préférence pouvait radicalement améliorer le comportement d'un modèle. TRL est devenu la référence open source pour implémenter ces méthodes, avec des mises à jour qui intègrent régulièrement les dernières avancées de la recherche. La tendance est aujourd'hui aux approches qui n'exigent pas de modèle de récompense distinct, comme DPO et GRPO, car elles simplifient le pipeline tout en atteignant des résultats comparables. Ce contexte explique l'intérêt croissant pour le fine-tuning de modèles open-weight comme Qwen, Llama ou Mistral, que des startups et des équipes internes cherchent à spécialiser sans dépendre d'API propriétaires.

UEHuggingFace, entreprise française éditrice de la bibliothèque TRL au cœur de ce guide, positionne l'écosystème open source européen comme référence pour l'alignement des LLMs face aux pipelines propriétaires américains.

LLMsTuto
1 source
2VentureBeat AI 

Kimi K2.6 exécute des agents pendant plusieurs jours et révèle les limites de l'orchestration d'entreprise

Moonshot AI, le laboratoire chinois à l'origine de la famille de modèles Kimi, a lancé Kimi K2.6, un modèle conçu spécifiquement pour les agents à exécution continue. Contrairement aux systèmes concurrents, Moonshot revendique des cas d'usage internes où des agents ont fonctionné en autonomie pendant plusieurs heures, et dans un cas documenté, cinq jours d'affilée, pour gérer de la surveillance d'infrastructure et de la réponse à des incidents. Le modèle est désormais disponible sur Hugging Face, via l'API Kimi, Kimi Code et l'application Kimi. Sa principale nouveauté technique réside dans une version améliorée des "Agent Swarms", capables de coordonner jusqu'à 300 sous-agents exécutant simultanément 4 000 étapes parallèles. À la différence de Claude Code d'Anthropic ou de Codex d'OpenAI, qui s'appuient sur des rôles prédéfinis pour orchestrer leurs agents, K2.6 laisse le modèle lui-même décider de l'orchestration en temps réel. Cette évolution met en lumière une fragilité structurelle dans l'écosystème des agents IA : les frameworks d'orchestration existants ont été conçus pour des agents qui s'exécutent en quelques secondes ou minutes, pas pour des processus qui durent des jours. Maintenir l'état d'un agent sur une longue durée pose des problèmes inédits, car l'environnement dans lequel il opère ne cesse d'évoluer pendant son exécution. L'agent doit appeler des outils, des API et des bases de données différents tout au long de sa vie, ce qu'aucun framework actuel n'a été conçu pour gérer proprement. Mark Lambert, directeur produit chez ArmorCode, souligne que le déficit de gouvernance dépasse déjà le rythme de déploiement : ces systèmes génèrent du code et des changements système plus vite que la plupart des organisations ne peuvent les examiner, corriger ou auditer. La course aux agents longue durée s'inscrit dans une compétition plus large entre fournisseurs de modèles, où la capacité d'orchestration est devenue un avantage concurrentiel à part entière. Anthropic, OpenAI et désormais Moonshot AI expérimentent tous des architectures multi-sessions et d'exécution en arrière-plan, mais aucun n'a encore résolu le problème fondamental : sans mécanisme de rollback clair, un agent autonome qui échoue après plusieurs heures d'exécution peut laisser des systèmes dans un état incohérent. Kunal Anand, directeur produit chez F5, résume le défi : l'industrie est passée des scripts aux services, puis aux agents, mais le saut architectural que représentent les agents à long horizon était loin d'être anticipé par la plupart des entreprises. Le praticien Maxim Saplin l'énonce clairement : l'orchestration reste fragile, et ce n'est pas en affinant les prompts qu'on réglera le problème, mais en repensant à la fois les produits et l'entraînement des modèles.

LLMsOpinion
1 source
Affinage par renforcement avec un LLM comme évaluateur
3AWS ML Blog 

Affinage par renforcement avec un LLM comme évaluateur

Les grands modèles de langage (LLM) alimentent aujourd'hui les agents conversationnels les plus avancés, les outils créatifs et les systèmes d'aide à la décision. Mais leurs sorties brutes contiennent fréquemment des inexactitudes, des formulations problématiques ou des réponses en décalage avec les politiques d'usage, des défauts qui érodent la confiance et freinent leur déploiement à grande échelle. Pour y remédier, le Reinforcement Fine-Tuning (RFT) s'est imposé comme la méthode d'alignement de référence : il utilise des signaux de récompense automatisés pour éviter l'étiquetage manuel, coûteux et lent. Deux grandes approches coexistent : le RLVR (Reinforcement Learning with Verifiable Rewards), qui évalue les sorties du modèle via du code, et le RLAIF (Reinforcement Learning with AI Feedback), où un second modèle de langage joue le rôle de juge pour noter les réponses candidates. Amazon a publié une analyse approfondie de cette seconde méthode appliquée à ses modèles Nova, détaillant six étapes critiques pour concevoir et déployer efficacement un juge LLM. Là où les récompenses classiques se limitent à des scores numériques grossiers, correspondance de sous-chaînes, règles artisanales, un juge LLM raisonne simultanément sur plusieurs dimensions : exactitude, ton, sécurité, pertinence. Il produit un retour contextualisé, capable de capter des nuances fines et des spécificités métier, sans nécessiter de réentraînement spécifique à chaque tâche. Autre avantage décisif : l'explicabilité. Le juge fournit des rationales (par exemple, "la réponse A cite des études évaluées par des pairs"), ce qui accélère les itérations, pointe précisément les modes de défaillance et réduit les désalignements cachés, quelque chose qu'une fonction de récompense statique ne peut pas faire. Cette flexibilité rend le RLAIF particulièrement précieux lorsque les critères de qualité sont flous ou difficiles à formaliser en règles rigides. L'implémentation repose sur des choix architecturaux structurants. Le premier est le type de juge : l'évaluation par rubrique attribue un score absolu à une réponse unique selon des critères prédéfinis, idéale quand les dimensions de qualité sont claires et quantifiables ; l'évaluation par préférence compare deux réponses côte à côte et désigne la meilleure, ce qui correspond davantage à l'évaluation humaine naturelle mais exige des données de référence. Amazon recommande de commencer par les rubriques en l'absence de données comparatives, et privilégie un scoring booléen (succès/échec) pour leur robustesse. La définition précise des critères d'évaluation constitue ensuite le socle de tout entraînement RLAIF efficace : des prompts explicites, des exemples concrets de ce qui distingue une bonne réponse d'une mauvaise, et une attention particulière aux biais potentiels du juge lui-même. Ce cadre méthodologique illustre comment l'industrie cherche à industrialiser l'alignement des LLM sans dépendre de l'annotation humaine à grande échelle.

LLMsPaper
1 source
Gemini 3.5 Flash veut réduire les coûts IA des entreprises
4Le Big Data 

Gemini 3.5 Flash veut réduire les coûts IA des entreprises

Google a lancé Gemini 3.5 Flash lors de sa conférence I/O 2026, le 19 mai 2026, en le positionnant comme son modèle propriétaire le plus économique à ce jour. Le tarif annoncé est de 1,50 dollar par million de jetons, une réduction significative pensée pour les entreprises qui déploient des agents IA à grande échelle. En parallèle, Google a dévoilé plusieurs nouveaux produits : Gemini Spark, un agent personnel capable d'agir en arrière-plan dans Gmail, Docs, Sheets et Slides pour compiler des informations, organiser des événements ou mettre à jour des tableaux en temps réel ; Omni Flash ; et AntiGravity 2.0, une nouvelle version de sa plateforme multi-agents. Sundar Pichai, PDG de Google, a déclaré que certaines organisations ont déjà consommé leur budget annuel de jetons alors que l'année est à peine entamée, soulignant l'urgence du problème. L'enjeu est directement financier pour les directions IT. À mesure que les agents IA s'intègrent dans les outils métiers, les volumes de jetons consommés explosent et les coûts dépassent les budgets prévus. Gemini 3.5 Flash cible précisément ces usages quotidiens à grande échelle, là où des économies de quelques centimes par million de jetons peuvent représenter des millions de dollars pour un grand groupe. L'intégration native avec Google Workspace est présentée comme un levier supplémentaire : en limitant le recours aux API externes, elle réduit mécaniquement la facture. Le modèle économique devient ainsi aussi déterminant que les performances techniques, notamment pour convaincre les entreprises de franchir le pas de l'industrialisation de l'IA au-delà des preuves de concept. Cette offensive tarifaire de Google s'inscrit dans une dynamique de marché plus large. Anthropic a récemment baissé les tarifs de Claude Opus 4.6, et la montée en puissance des modèles open source comme Qwen d'Alibaba accentue la pression sur les grands acteurs. Les performances des modèles propriétaires commençant à converger, le prix s'impose comme un facteur différenciant majeur pour fidéliser les clients entreprises. Google cherche ainsi à tenir tête à OpenAI et Anthropic sur le segment de l'IA agentielle, un marché où la viabilité économique conditionne désormais l'adoption massive. La prochaine étape sera de voir si cette baisse tarifaire suffit à convaincre les grandes organisations de standardiser leurs workflows autour de l'écosystème Google, ou si la concurrence répondra rapidement avec des ajustements similaires.

UELes entreprises européennes déployant des agents IA à grande échelle sur Google Workspace pourraient réduire significativement leurs coûts de jetons grâce à ce nouveau tarif.

LLMsOpinion
1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, l'essentiel de l'IA · désinscription en un clic