Aller au contenu principal
Outils · Outil ·

Fine-tuning complet (FFT) avec la personnalisation de modèles serverless de SageMaker AI

Amazon a annoncé que SageMaker AI Serverless Model Customization prend désormais en charge le Full Fine-Tuning (FFT), une méthode qui met à jour l'ensemble des paramètres d'un grand modèle de langage pour l'adapter à un domaine, une tâche ou un style précis. Le service s'exécute sans infrastructure à gérer : aucun provisionnement de GPU, aucune configuration de cluster ni de entraînement distribué n'est nécessaire. Pour illustrer l'intérêt de cette option, AWS a mené des expériences de fine-tuning supervisé (SFT) sur un modèle de base Qwen3-4B, disponible dans SageMaker AI Studio, en comparant LoRA et FFT avec les mêmes prompts, les mêmes cibles et le même code d'évaluation. Sur des tâches de génération de code, avec plus de 100 000 exemples d'entraînement, le FFT atteint 90,0 % de correction sémantique selon une évaluation par LLM juge, et devance LoRA sur toutes les dimensions mesurées, avec un écart particulièrement net sur les scores BLEU et ROUGE-2.

2 min de lecture

Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie

Source

Résumé et traduction réalisés par Le Fil IA à partir de AWS ML Blog. Lire l'article original →

L'enjeu est d'abord économique. Un modèle plus petit et spécialisé peut égaler, voire dépasser, un modèle de pointe sur une tâche donnée, pour une fraction du prix d'inférence par jeton, une économie qui s'accumule sur des millions de requêtes. Jusqu'ici, les entreprises qui voulaient limiter leurs besoins en GPU se tournaient vers des méthodes dites efficaces en paramètres, au premier rang desquelles LoRA, au prix d'un plafond de qualité sur les tâches complexes. En rendant le FFT accessible sans gestion d'infrastructure, AWS supprime l'un des principaux freins à son adoption : la complexité opérationnelle de l'entraînement distribué. Les équipes disposant de grands jeux de données de qualité, notamment en génération de code ou dans des domaines spécialisés, peuvent ainsi viser une meilleure précision sans monter leur propre cluster.

Cette évolution s'inscrit dans le débat technique sur les limites de LoRA. Cette méthode fige les poids du modèle préentraîné et y injecte de petites paires de matrices de faible rang, ce qui réduit fortement les ressources nécessaires mais restreint la capacité de représentation. Selon AWS, lorsque les tâches se complexifient et que les jeux de données dépassent quelques dizaines de milliers d'exemples, LoRA atteint un plateau : augmenter le rang, donc le nombre de paramètres entraînables, ne comble pas l'écart avec le fine-tuning classique. Le problème tiendrait au déficit de rang lui-même, et non au simple nombre de paramètres. Le FFT, lui, exploite toute la capacité des matrices de poids sans les distorsions localisées propres aux méthodes de faible rang, ce qui favorise une meilleure convergence et un meilleur alignement des activations entre les couches. AWS prolonge cette démonstration par une analyse des propriétés spectrales des matrices de poids et par des recommandations d'hyperparamètres issues d'expériences contrôlées, afin d'aider les utilisateurs à prendre en main le FFT sur sa plateforme.

À lire ensuite

01Nemotron 3 : affinement des modèles NVIDIA avec la personnalisation serverless d'Amazon SageMaker AIAWS ML BlogOutils 02Nouvelles façons de personnaliser des modèles avec SageMaker AI, sans gérer de GPUAWS ML BlogOutils 03Exowatt dépasse les modèles de pointe en précision grâce à la personnalisation de modèles sans serveur de SageMakerAWS ML BlogOutils 
Dossier · AWSSuivi en continu par Le Fil IASuivre ce sujet →

Le brief du matin

L'essentiel de l'IA chaque jour. Gratuit, désinscription immédiate à tout moment.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, l'essentiel de l'IA · désinscription à tout moment

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.