Pourquoi votre fine-tuning prend plus de temps que ne le prévoient les FLOPs
Une équipe qui exploite un cluster partagé de GPU NVIDIA H200 a comparé deux façons d'estimer la durée d'un job de fine-tuning avant son lancement. Elle a analysé 272 jobs de fine-tuning supervisé (SFT) tirés de son environnement de production, soit environ 7 382 heures-GPU. Ces jobs couvrent plusieurs familles de modèles jusqu'à 15 milliards de paramètres, en LoRA comme en fine-tuning complet, sur 1, 2 ou 4 GPU puisés dans un pool de 8 à 32 H200 répartis sur 1 à 4 nœuds. Leur durée va de 1,6 à 172,4 heures, pour une moyenne de 23,43 h et une médiane de 15,29 h. L'estimation classique, fondée sur le calcul des FLOP, n'explique qu'une faible part des durées observées (R² de 0,31, erreur absolue moyenne de 12,41 h). Un régresseur CatBoost, qui n'utilise que des informations connues avant l'envoi du job, atteint un R² de 0,98, une erreur absolue moyenne de 1,71 h et une erreur médiane de 0,51 h en validation croisée à 5 plis.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de HuggingFace Blog. Lire l'article original →
L'enjeu est très concret pour quiconque gère des GPU, des ressources parmi les plus chères et les plus rares de l'IA. Un job qui se termine plusieurs heures trop tôt laisse des machines inactives jusqu'au suivant. Un job qui déborde décale toute la file d'attente, retarde les expériences et fait glisser les dates de livraison. Passer d'une erreur moyenne de plus de 12 heures à moins de 2 heures permet de planifier plutôt que de deviner : quoi lancer, quand, sur combien de GPU, avec moins de capacité perdue entre deux jobs. L'écart tient à deux choses qu'une formule fermée ne sait pas faire. Le modèle appris voit davantage de signaux propres à l'entraînement, comme la fréquence des évaluations, la politique de sauvegarde des checkpoints, la charge par GPU et le régime de fine-tuning, et il apprend à partir des exécutions passées les interactions non linéaires entre ces facteurs.
Le contexte tient à la limite de l'estimation habituelle. Pour un Transformer dense, l'entraînement coûte environ 6·P·D opérations, P étant le nombre de paramètres et D le nombre de tokens. On divise ce total par la puissance délivrée par les GPU, en supposant un taux d'utilisation (MFU) généralement compris entre 30 % et 60 %, mais impossible à connaître à l'avance. Cette méthode décrit bien la boucle d'optimisation, pas le job entier : installation de l'environnement, téléchargement et chargement du modèle, tokenisation, évaluations périodiques, envoi des checkpoints, puis export final vers le stockage objet, le tout en concurrence avec d'autres jobs pour le réseau et les disques. Ces surcoûts ne varient pas proportionnellement à la charge de calcul ni au nombre de GPU, si bien que deux jobs de même coût nominal peuvent finir à plusieurs heures d'écart. Les auteurs ont donc traité la durée de bout en bout, hors temps d'attente, comme un problème de régression. Ils ont dérivé des variables qui exposent ces surcoûts (nombre d'échantillons d'évaluation, nombre de sauvegardes, paramètres sauvegardés, volumes de tokens par GPU) et ajouté l'estimation FLOP, avec un MFU fixé à 0,45, comme variable de départ. Après comparaison avec la régression linéaire, Ridge et XGBoost, et une sélection parmi 18 jeux de variables, le modèle CatBoost final en retient 24. Les auteurs détailleront ces résultats dans un article à paraître prochainement sur arXiv.