LLMsAWS ML Blog · 21 juil. 2026, 20:23· 2 min de lecture

Se retire de l'affinement supervisé auto-distillé pour Amazon Nova

Amazon a détaillé une nouvelle technique baptisée Self-Distilled Reasoning (SDR), conçue pour améliorer le fine-tuning supervisé (SFT) de sa famille de modèles Amazon Nova 2, en particulier Nova 2 Lite. Le problème de départ est concret: entraîner un modèle avec des traces de raisonnement en chaîne de pensée (chain-of-thought) de haute qualité coûte cher et reste souvent impraticable, ce qui pousse de nombreuses équipes à se contenter de jeux de données ne contenant que des entrées et des sorties, sans raisonnement. Or les chercheurs d'Amazon montrent que cette absence de raisonnement dans les données de fine-tuning provoque un phénomène d'oubli catastrophique: sur un benchmark de mathématiques, les performances du modèle chutent de 70% avant entraînement à seulement 6% après un SFT classique sans traces de raisonnement, en moyenne sur leurs tests. Face à ce constat, l'équipe propose SDR, une méthode qui réutilise directement les propres traces de raisonnement générées par le modèle de base Nova 2 Lite comme substitut, pour combler les jeux de données qui en sont dépourvus, sans recourir à un modèle enseignant externe ni à une validation humaine.

Cette approche change la donne pour les équipes qui personnalisent des modèles de raisonnement sur des domaines spécifiques via SFT ou apprentissage par renforcement fine-tuné (RFT), car elle évite un compromis jusqu'ici jugé quasi inévitable entre performance sur la tâche ciblée et rétention des capacités générales du modèle. La méthode alternative la plus courante, le fusionnement de modèles (model merging), consiste à réintégrer un point de contrôle post-SFT dans le modèle de base pour limiter l'oubli, mais elle sacrifie une partie des gains obtenus pendant l'entraînement spécialisé. Avec SDR, Amazon affirme retrouver quasiment intégralement les performances mathématiques de départ (70% contre 68% pour le fusionnement) tout en améliorant les performances sur la tâche cible de plus de 6,5% en moyenne par rapport au fusionnement classique. Concrètement, cela signifie qu'une entreprise peut spécialiser un modèle Nova sur son propre domaine, comme du code interne ou des données métier, sans dégrader ses compétences générales en raisonnement ni devoir arbitrer entre les deux.

Cette découverte s'inscrit dans un courant de recherche plus large qui explore l'auto-distillation, c'est-à-dire l'idée de réinjecter dans un modèle des informations issues de lui-même pendant l'entraînement, plutôt que de dépendre d'un modèle enseignant tiers. Amazon positionne SDR comme une régularisation intégrée directement au processus d'entraînement, applicable à n'importe quel jeu de données SFT existant, quel que soit son domaine, sans annotation humaine supplémentaire. Publiés dans le cadre de la documentation technique d'Amazon Nova 2, ces résultats visent à guider les développeurs qui personnalisent des modèles de raisonnement pour des cas d'usage professionnels, à l'heure où les capacités de raisonnement deviennent un facteur de différenciation majeur face à des concurrents comme OpenAI, Anthropic ou Google sur les tâches complexes en code et en mathématiques.

Dans nos dossiers

OpenAI Anthropic

Cet article vous a été utile ?

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

1AWS ML Blog

L'optimisation des hyperparamètres sur Amazon Nova Forge

Amazon a publié un guide technique détaillé sur l'optimisation des hyperparamètres dans Nova Forge, son service cloud dédié à la personnalisation de modèles de langage à grande échelle. Nova Forge permet aux entreprises de partir de points de contrôle anticipés des modèles Amazon Nova, de les entraîner sur leurs données propriétaires tout en les mélangeant à des jeux de données soigneusement sélectionnés par Amazon, et d'héberger les modèles résultants de façon sécurisée sur AWS. Le processus repose sur trois leviers principaux : le taux d'apprentissage, le ratio de mélange des données, la sélection du point de contrôle et les techniques d'entraînement. Selon Amazon, mal calibrer l'un de ces paramètres suffit à compromettre silencieusement toute une campagne d'entraînement, parfois très coûteuse en ressources de calcul. L'enjeu central est ce que les chercheurs appellent l'oubli catastrophique : lorsqu'un modèle est entraîné intensivement sur des données d'un domaine étroit, il tend à écraser les capacités générales acquises lors du pré-entraînement, comme le raisonnement, le suivi d'instructions ou la gestion de conversations multi-tours. Un modèle de service client affiné sur des tickets de support peut ainsi perdre sa capacité à traiter des requêtes ambiguës. Pour contrecarrer ce phénomène, Nova Forge s'appuie sur le mélange de données, qui intègre des corpus Amazon curatés aux données propriétaires pendant l'entraînement, et sur la sélection de point de contrôle, qui permet de doser la quantité d'alignement général conservée. Le taux d'apprentissage reste le paramètre le plus sensible : trop élevé, il déstabilise l'entraînement ou provoque un oubli rapide des capacités de base ; trop bas, il gaspille du calcul en convergeant très lentement. Nova Forge s'inscrit dans une dynamique plus large de démocratisation des modèles frontières propriétaires. Plutôt que de laisser les entreprises se limiter à du fine-tuning superficiel, le service leur permet d'accéder à des checkpoints précoces des modèles Nova et d'y injecter leur propre connaissance métier dès les premières couches d'entraînement. Ce positionnement concurrence directement les offres similaires d'OpenAI, Google et Mistral, qui proposent eux aussi des voies de personnalisation profonde pour les grandes entreprises. La publication de ce guide signale une volonté d'Amazon de réduire le taux d'échec des projets de personnalisation, souvent abandonnés faute de maîtrise des interactions entre hyperparamètres. Les prochaines étapes pour Nova Forge pourraient inclure des outils automatisés de recherche d'hyperparamètres, déjà expérimentés dans d'autres plateformes MLOps, afin de réduire encore la charge d'expertise requise.

LLMsActu

1 source

2AWS ML Blog

Personnalisez les modèles Amazon Nova avec l'affinage Amazon Bedrock

Amazon a annoncé que ses modèles Nova sont désormais personnalisables via Amazon Bedrock grâce à trois techniques de fine-tuning : le supervised fine-tuning (SFT), qui entraîne le modèle sur des exemples étiquetés entrée-sortie ; le reinforcement fine-tuning (RFT), qui oriente l'apprentissage à l'aide d'une fonction de récompense ; et la distillation de modèle, qui transfère les connaissances d'un grand modèle vers un modèle plus petit et plus rapide. Contrairement au prompt engineering ou au RAG, ces techniques intègrent les nouvelles connaissances directement dans les poids du modèle, plutôt que de les fournir à chaque requête via le contexte. Le processus est entièrement géré par AWS : il suffit de déposer ses données sur Amazon S3 et de lancer le job depuis la console, le CLI ou l'API, sans expertise en machine learning requise. Les modèles personnalisés fonctionnent en invocation à la demande, ce qui signifie que l'on paie uniquement à l'appel, au tarif standard, sans avoir à réserver de capacité dédiée (Provisioned Throughput). L'enjeu est significatif pour les entreprises qui déploient l'IA à grande échelle. Le fine-tuning permet d'atteindre une précision supérieure sur des tâches spécifiques, avec une inférence plus rapide et un coût en tokens réduit. Là où le RAG ou le prompt engineering forcent le modèle à relire des instructions à chaque appel, un modèle fine-tuné a internalisé ces connaissances : il gère mieux les formulations inédites, les cas limites, et les raisonnements complexes. Cas d'usage concrets : maintenir un ton de marque cohérent dans les communications clients, gérer des workflows métier spécifiques à un secteur, ou classifier les intentions dans un système de réservation aérienne à fort volume. Des modèles plus petits et moins coûteux peuvent ainsi atteindre les performances de modèles bien plus grands, mais uniquement dans leur domaine d'entraînement. Amazon Bedrock s'inscrit dans une compétition intense entre les grands fournisseurs cloud pour offrir des outils de personnalisation des LLMs sans friction technique. Google Vertex AI et Azure AI Studio proposent des capacités similaires, mais AWS mise sur l'intégration native avec son écosystème S3/IAM et sur la simplicité du déclenchement via API. Le fine-tuning reste pertinent dans un scénario précis : tâche bien définie, volume élevé, exemples étiquetés disponibles ou fonction de récompense constructible. Pour des besoins plus dynamiques ou évolutifs, le RAG conserve ses avantages. La prochaine étape probable pour Bedrock sera l'extension de ces capacités à d'autres modèles tiers disponibles sur la plateforme, au-delà des modèles propriétaires Nova.

UELes entreprises européennes utilisant AWS peuvent désormais affiner les modèles Nova directement via Bedrock sans expertise ML, réduisant la barrière technique à la personnalisation de LLMs en production.

LLMsOutil

1 source

3MarkTechPost

Guide pratique : affiner un LLM avec TRL, du supervised fine-tuning au raisonnement DPO et GRPO

Un guide complet consacré à l'entraînement post-initialisation des grands modèles de langage vient d'être publié, proposant une progression pédagogique couvrant quatre techniques clés : le réglage fin supervisé (SFT), la modélisation de récompense (RM), l'optimisation directe des préférences (DPO) et l'optimisation de politique par groupe relatif (GRPO). Le tutoriel s'appuie sur la bibliothèque TRL (Transformer Reinforcement Learning), développée et maintenue par Hugging Face, combinée à des outils comme PEFT et LoRA, qui permettent de réduire drastiquement la mémoire nécessaire. Point notable : l'ensemble du pipeline peut tourner sur un GPU T4 de Google Colab, soit environ 15 Go de VRAM, rendant ces techniques accessibles à quiconque dispose d'un compte Google. Le modèle de base utilisé est Qwen2.5-0.5B-Instruct, un modèle léger de 500 millions de paramètres développé par Alibaba, qui sert de point de départ à chacune des quatre étapes d'alignement. Ce guide se distingue par sa complétude : peu de tutoriels enchaînent l'intégralité du pipeline d'alignement, du SFT jusqu'au raisonnement par GRPO, avec du code fonctionnel et des explications progressives. Pour les équipes techniques cherchant à adapter un modèle open-weight à des usages métiers spécifiques, ou à reproduire les techniques d'alignement des grands laboratoires, ce type de ressource pratique est précieux. Le GRPO notamment, popularisé par DeepSeek-R1 en janvier 2025, est désormais intégré nativement dans TRL, ce qui permet d'entraîner des modèles à raisonner par étapes vérifiables sans les coûts prohibitifs d'un pipeline RLHF classique avec modèle de récompense séparé. L'alignement des LLMs s'est imposé comme l'un des sujets centraux de l'IA depuis qu'InstructGPT d'OpenAI a montré qu'un volume relativement faible de données de préférence pouvait radicalement améliorer le comportement d'un modèle. TRL est devenu la référence open source pour implémenter ces méthodes, avec des mises à jour qui intègrent régulièrement les dernières avancées de la recherche. La tendance est aujourd'hui aux approches qui n'exigent pas de modèle de récompense distinct, comme DPO et GRPO, car elles simplifient le pipeline tout en atteignant des résultats comparables. Ce contexte explique l'intérêt croissant pour le fine-tuning de modèles open-weight comme Qwen, Llama ou Mistral, que des startups et des équipes internes cherchent à spécialiser sans dépendre d'API propriétaires.

UEHuggingFace, entreprise française éditrice de la bibliothèque TRL au cœur de ce guide, positionne l'écosystème open source européen comme référence pour l'alignement des LLMs face aux pipelines propriétaires américains.

LLMsTuto

1 source

4AWS ML Blog

Le réglage fin des modèles Amazon Nova pour une extraction précise des données d'e-mails

Voici l'article traduit et résumé en français : Parcel Perform, plateforme d'expérience de livraison basée sur l'IA destinée aux entreprises d'ecommerce, a collaboré avec le AWS Generative AI Innovation Center (GenAIIC) pour résoudre un problème concret : extraire des données structurées à partir d'emails aux formats très divers, des simples notifications aux documents HTML complexes truffés d'éléments JavaScript. L'équipe a utilisé Amazon SageMaker AI pour affiner par fine-tuning les modèles Amazon Nova Micro et Nova Lite, en s'appuyant sur l'apprentissage supervisé (SFT) combiné à la technique PEFT (Parameter-Efficient Fine-Tuning) via LoRA (Low-Rank Adaptation), une méthode qui permet de personnaliser un modèle avec peu de données d'entraînement tout en limitant les ressources de calcul nécessaires. Selon Le Vy, responsable de l'équipe IA chez Parcel Perform, le modèle Nova Micro ainsi spécialisé a atteint jusqu'à 94,77 % de précision d'extraction sur le jeu de données de test, soit une amélioration de 16,6 points de pourcentage par rapport au modèle de référence, tout en réduisant la latence d'inférence de plus de 30 % et en divisant les coûts par deux par rapport à la solution précédemment utilisée par l'entreprise. Ces gains ne sont pas anecdotiques pour une entreprise qui traite des millions de messages email par jour : les modèles génériques peinaient à distinguer des champs proches comme les numéros de commande et les numéros de suivi, produisaient des hallucinations, et le traitement d'emails au format HTML faisait exploser les coûts en tokens. En apprenant au modèle à reconnaître les schémas de données propres à Parcel Perform, le fine-tuning a permis de résoudre simultanément trois problèmes distincts, la précision, la latence et le coût, ce qui est rare puisque ces métriques s'améliorent rarement de concert. Résultat concret : la version optimisée de Nova Micro égale ou dépasse les performances de Nova Lite tout en coûtant moins cher, ce qui a permis à Parcel Perform de déployer la solution en production pour ses opérations logistiques. Sur le plan technique, le workflow repose sur la préparation de données d'entraînement au format de conversation Amazon Bedrock, associant le contenu d'un email aux entités à en extraire, hébergées sur Amazon S3 avant le lancement du job de fine-tuning sur SageMaker AI à l'aide d'une configuration LoRA. Le modèle final est ensuite déployé sur Amazon Bedrock en inférence à la demande, facturée au token. Ce projet illustre une tendance plus large chez AWS : pousser les entreprises à personnaliser des modèles de taille réduite, via des "recettes" Nova au format YAML qui standardisent les hyperparamètres d'entraînement, plutôt que de s'appuyer sur des modèles génériques massifs, jugés plus coûteux et moins précis sur des tâches d'extraction très spécifiques au métier.

LLMsTuto

1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, l'essentiel de l'IA · désinscription en un clic