Audit des biais de préférence et fine-tuning de modèles de langage par optimisation directe des préférences (DPO) sur Anthropic HH-RLHF avec TRL et LoRA
Un tutoriel technique publié récemment détaille comment construire un pipeline complet d'apprentissage par préférences appliqué au modèle Qwen2.5-0.5B-Instruct, développé par Alibaba. La méthode s'appuie sur le jeu de données Anthropic HH-RLHF, composé de paires de réponses "choisies" et "rejetées", et sur la technique du Direct Preference Optimization (DPO), combinée à l'adaptation LoRA et à la bibliothèque TRL de Hugging Face. Le pipeline traite quatre sous-ensembles du jeu de données (helpful-base, helpful-réjection-sampled, helpful-online et harmless-base), avec 120 exemples d'entraînement et 30 exemples de test par sous-ensemble. L'entraînement est configuré sur 30 étapes maximum, avec une taille de lot de 1, une accumulation de gradient de 8, un taux d'apprentissage de 5e-6 et un paramètre bêta de 0,1 pour la fonction de perte DPO. Le tutoriel prévoit aussi un audit préalable du jeu de données pour détecter des biais structurels ou liés à la longueur des réponses, ainsi que des diagnostics de raccourcis lexicaux permettant de vérifier si des motifs linguistiques superficiels suffisent à distinguer une réponse préférée d'une réponse rejetée.
Résumé et traduction réalisés par Le Fil IA à partir de MarkTechPost. Lire l'article original →
Cette démarche importe parce qu'elle rend accessible, sur une infrastructure aussi modeste qu'un notebook Google Colab, une technique d'alignement de modèles de langage habituellement réservée à des équipes disposant de moyens de calcul importants. Le DPO s'est imposé ces dernières années comme une alternative plus simple au RLHF classique, car il ajuste directement les préférences du modèle sans nécessiter d'entraîner un modèle de récompense séparé ni de recourir à l'apprentissage par renforcement. En intégrant systématiquement des vérifications de biais, comme le risque que le modèle apprenne à privilégier les réponses longues plutôt que les réponses réellement meilleures, le tutoriel répond à une préoccupation centrale de la recherche actuelle sur l'alignement : s'assurer que les gains de performance mesurés reflètent une amélioration réelle de la qualité et non l'exploitation d'artefacts statistiques du jeu de données d'entraînement.
Ce travail s'inscrit dans un mouvement plus large de démocratisation des techniques de fine-tuning par préférences, porté par des outils comme LoRA, qui permet d'ajuster un modèle en ne modifiant qu'une fraction de ses paramètres, réduisant ainsi drastiquement les besoins en mémoire et en calcul. Le choix du jeu de données HH-RLHF d'Anthropic, référence historique dans le domaine de l'alignement sur l'utilité et l'innocuité des réponses, ainsi que celui d'un petit modèle comme Qwen2.5-0.5B, montrent une volonté de rendre ces méthodes reproductibles par des chercheurs ou ingénieurs individuels plutôt que réservées aux grands laboratoires. À mesure que le DPO et ses variantes se généralisent dans les pipelines d'entraînement open source, la question des biais cachés dans les données de préférence, notamment le biais de longueur déjà documenté dans plusieurs études antérieures sur le RLHF, reste un enjeu majeur pour garantir que les modèles alignés le sont réellement sur des critères de qualité et non sur des artefacts superficiels du format des réponses.
Pas d'impact direct sur la France/UE