Enseigner aux modèles à oublier : le désapprentissage sélectif avec Amazon Nova
Les équipes de développement Amazon Nova viennent de détailler une nouvelle méthode baptisée rDPO (Reverse Direct Preference Optimization), conçue pour résoudre un problème récurrent chez les entreprises qui déploient des modèles de fondation : les garde-fous de modération de contenu bloquent souvent des usages professionnels légitimes. Une société de médias qui résume des scénarios contenant un langage cru, une entreprise de cybersécurité qui simule des attaques réelles, ou un cabinet juridique qui traite des preuves sensibles se heurtent régulièrement à des refus du modèle, même lorsque leur intention est parfaitement défensive. L'exemple typique cité par Amazon est celui d'une équipe de sécurité demandant à un modèle de générer un email de phishing factice pour former ses employés, et se voyant opposer un refus malgré le caractère pédagogique de la demande. Amazon a donc lancé les Customizable Content Moderation Settings (CCMS) pour Nova, un système permettant à des clients approuvés d'ajuster sélectivement les réglages de sécurité sur quatre piliers : la sécurité physique (armes, activités dangereuses, substances contrôlées), le contenu sensible (grossièretés, nudité, harcèlement), l'équité (biais et considérations culturelles) et la sécurité informatique (malwares et contenus malveillants). Certains contrôles fondamentaux, comme la protection des enfants et de la vie privée, restent quant à eux non configurables.
Cette avancée compte parce qu'elle change la donne pour les entreprises qui utilisent des modèles d'IA générative dans des contextes professionnels spécialisés où le blocage systématique de certains contenus devient un obstacle plutôt qu'une protection. Jusqu'ici, ces refus intégrés au niveau des paramètres du modèle pendant l'alignement post-entraînement ne pouvaient pas être contournés par du simple prompt engineering, obligeant les entreprises à composer avec des limitations rigides ou à entraîner leurs propres modèles depuis zéro, une option coûteuse et complexe. Avec rDPO, Amazon propose une alternative plus fine : plutôt que de désactiver un garde-fou dans son ensemble, la technique permet de retirer chirurgicalement un comportement d'évitement appris sur une politique précise, tout en conservant l'alignement du modèle sur toutes les autres politiques et en préservant ses capacités générales comme le raisonnement, le code ou les mathématiques.
Sur le plan technique, la solution s'appuie sur des adaptateurs LoRA (Low-Rank Adaptation) entraînés spécifiquement pour désapprendre certaines politiques de responsabilité (RAI) du modèle central, chaque client recevant un adaptateur identifié par un ARN (Amazon Resource Name) unique. Le défi scientifique consistait à désapprendre efficacement un comportement de refus sans dégrader la qualité générale du modèle, un piège classique du fine-tuning direct. Une approche existante, la Negative Preference Optimization (NPO), dérivée de la Direct Preference Optimization (DPO), permettait déjà de faire oublier un comportement en retirant les échantillons positifs de l'objectif d'optimisation, mais sans guider le modèle vers une réponse alternative de bonne qualité, ce qui pouvait dégrader les résultats. rDPO résout ce manque en inversant la paire de préférences dans l'objectif DPO, poussant le modèle non seulement à cesser de refuser, mais aussi à produire une réponse de substitution pertinente. Cette approche s'inscrit dans un mouvement plus large de recherche sur le désapprentissage sélectif des modèles de langage, un domaine appelé à prendre de l'importance à mesure que les entreprises réclament un contrôle plus granulaire sur l'alignement de leurs IA en production.
Dans nos dossiers
Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.



