Aller au contenu principal
Enseigner aux modèles à oublier : le désapprentissage sélectif avec Amazon Nova
SécuritéAWS ML Blog5j· 2 min de lecture

Enseigner aux modèles à oublier : le désapprentissage sélectif avec Amazon Nova

Source originale ↗·

Les équipes de développement Amazon Nova viennent de détailler une nouvelle méthode baptisée rDPO (Reverse Direct Preference Optimization), conçue pour résoudre un problème récurrent chez les entreprises qui déploient des modèles de fondation : les garde-fous de modération de contenu bloquent souvent des usages professionnels légitimes. Une société de médias qui résume des scénarios contenant un langage cru, une entreprise de cybersécurité qui simule des attaques réelles, ou un cabinet juridique qui traite des preuves sensibles se heurtent régulièrement à des refus du modèle, même lorsque leur intention est parfaitement défensive. L'exemple typique cité par Amazon est celui d'une équipe de sécurité demandant à un modèle de générer un email de phishing factice pour former ses employés, et se voyant opposer un refus malgré le caractère pédagogique de la demande. Amazon a donc lancé les Customizable Content Moderation Settings (CCMS) pour Nova, un système permettant à des clients approuvés d'ajuster sélectivement les réglages de sécurité sur quatre piliers : la sécurité physique (armes, activités dangereuses, substances contrôlées), le contenu sensible (grossièretés, nudité, harcèlement), l'équité (biais et considérations culturelles) et la sécurité informatique (malwares et contenus malveillants). Certains contrôles fondamentaux, comme la protection des enfants et de la vie privée, restent quant à eux non configurables.

Cette avancée compte parce qu'elle change la donne pour les entreprises qui utilisent des modèles d'IA générative dans des contextes professionnels spécialisés où le blocage systématique de certains contenus devient un obstacle plutôt qu'une protection. Jusqu'ici, ces refus intégrés au niveau des paramètres du modèle pendant l'alignement post-entraînement ne pouvaient pas être contournés par du simple prompt engineering, obligeant les entreprises à composer avec des limitations rigides ou à entraîner leurs propres modèles depuis zéro, une option coûteuse et complexe. Avec rDPO, Amazon propose une alternative plus fine : plutôt que de désactiver un garde-fou dans son ensemble, la technique permet de retirer chirurgicalement un comportement d'évitement appris sur une politique précise, tout en conservant l'alignement du modèle sur toutes les autres politiques et en préservant ses capacités générales comme le raisonnement, le code ou les mathématiques.

Sur le plan technique, la solution s'appuie sur des adaptateurs LoRA (Low-Rank Adaptation) entraînés spécifiquement pour désapprendre certaines politiques de responsabilité (RAI) du modèle central, chaque client recevant un adaptateur identifié par un ARN (Amazon Resource Name) unique. Le défi scientifique consistait à désapprendre efficacement un comportement de refus sans dégrader la qualité générale du modèle, un piège classique du fine-tuning direct. Une approche existante, la Negative Preference Optimization (NPO), dérivée de la Direct Preference Optimization (DPO), permettait déjà de faire oublier un comportement en retirant les échantillons positifs de l'objectif d'optimisation, mais sans guider le modèle vers une réponse alternative de bonne qualité, ce qui pouvait dégrader les résultats. rDPO résout ce manque en inversant la paire de préférences dans l'objectif DPO, poussant le modèle non seulement à cesser de refuser, mais aussi à produire une réponse de substitution pertinente. Cette approche s'inscrit dans un mouvement plus large de recherche sur le désapprentissage sélectif des modèles de langage, un domaine appelé à prendre de l'importance à mesure que les entreprises réclament un contrôle plus granulaire sur l'alignement de leurs IA en production.

💬 L'analyse de Mathieu

Enfin quelqu'un qui traite le sujet correctement au lieu de mettre tout le monde dans le même panier. Le vrai problème depuis toujours c'est que les garde-fous sont binaires alors que les usages pros ne le sont pas, et une boîte de cybersécurité qui veut simuler un phishing n'a rien à voir avec un usage malveillant. rDPO ne supprime pas la sécurité, il la rend sélective par client via des adaptateurs LoRA identifiés, ce qui revient à dire que la modération devient un paramètre de contrat plutôt qu'une propriété figée du modèle. Reste à voir combien de temps avant qu'un adaptateur mal configuré fasse sauter la mauvaise politique chez le mauvais client.

Dans nos dossiers

Cet article vous a été utile ?

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

Sécuriser le déploiement des modèles de pointe auprès des clients
1AWS ML Blog 

Sécuriser le déploiement des modèles de pointe auprès des clients

Voici la traduction/résumé en français : Amazon Web Services (AWS) a annoncé que les modèles Claude Fable 5 d'Anthropic redeviennent disponibles dès demain pour les clients de Bedrock, sa plateforme d'intelligence artificielle, avec des garde-fous renforcés contre les usages malveillants. Cette annonce s'inscrit dans la continuité de Bedrock Mantle, lancé l'an dernier pour offrir une protection renforcée des poids des modèles et de la confidentialité des données. AWS travaille également en étroite collaboration avec Anthropic et d'autres acteurs du secteur dans le cadre du Projet Glasswing, une initiative visant à encadrer le déploiement de modèles de nouvelle génération comme Claude Mythos, dont les capacités en cybersécurité sont particulièrement avancées. L'équipe de sécurité offensive d'AWS (Red Team) a directement contribué, aux côtés d'Anthropic, à améliorer les protections de Fable 5. Lorsque ses garde-fous se déclenchent, le modèle bascule automatiquement vers Opus 4.8, déjà accessible publiquement. Cette annonce illustre un dilemme central pour l'industrie de l'IA : comment mettre des capacités avancées de cybersécurité entre les mains des équipes de défense sans donner simultanément aux attaquants les moyens de mener des recherches de vulnérabilités plus poussées. AWS souligne que l'objectif prioritaire des garde-fous est justement d'empêcher les acteurs malveillants d'accéder à ce niveau de recherche offensive, tout en laissant aux entreprises, gouvernements et institutions académiques le temps de renforcer leurs défenses avant que ces capacités ne soient exploitées à grande échelle. Pour les clients de Bedrock, cela signifie un accès plus rapide aux modèles les plus récents, avec les standards de sécurité et de confidentialité attendus d'AWS, sans avoir à choisir entre performance et prudence. Cette collaboration s'inscrit dans un contexte plus large où les modèles frontières gagnent rapidement en puissance, notamment sur des tâches sensibles comme l'analyse de vulnérabilités logicielles. Anthropic a publié de son côté un billet de blog intitulé "Redeploying Fable 5", détaillant sa manière d'évaluer les capacités de cette nouvelle génération de modèles ainsi que ses engagements et délais de réponse en cas de signalement de problèmes après déploiement. AWS salue cette transparence et annonce vouloir continuer à faire évoluer les garde-fous au fur et à mesure que de nouveaux modèles sortent et que les enseignements s'accumulent sur l'efficacité des protections actuelles. Les deux entreprises présentent cette coopération comme une première tentative structurée de définir des niveaux de gravité et des protocoles de réponse spécifiques aux modèles capables d'assister en cybersécurité, un cadre appelé à s'affiner avec le reste du secteur.

💬 Le détail qui compte, c'est le fallback automatique : si Fable 5 dérape, il bascule tout seul vers Opus 4.8. Sur le papier ça règle le dilemme de la cybersécu offensive, mais Glasswing c'est surtout l'aveu que les modèles progressent plus vite que les garde-fous qu'on sait construire autour. Reste à voir si ça tient face à un vrai attaquant motivé, pas juste face à un red team maison.

SécuritéActu
1 source
Inférence ML chiffrée de bout en bout avec Amazon SageMaker AI et le chiffrement homomorphe
2AWS ML Blog 

Inférence ML chiffrée de bout en bout avec Amazon SageMaker AI et le chiffrement homomorphe

Amazon Web Services propose une nouvelle approche pour exécuter des modèles de machine learning dans le cloud sans jamais exposer les données traitées, même au fournisseur d'infrastructure. La méthode repose sur le chiffrement homomorphe intégral (FHE, pour Fully Homomorphic Encryption), une technique cryptographique qui permet d'effectuer des calculs directement sur des données chiffrées, sans jamais les déchiffrer. Concrètement, un client envoie une requête chiffrée à un modèle hébergé sur Amazon SageMaker AI, le modèle produit une prédiction chiffrée, et seul le client peut déchiffrer le résultat final. La bibliothèque open source concrete-ml, compatible avec l'API scikit-learn, sert de couche de haut niveau pour entraîner et déployer ces modèles FHE sans avoir à coder les algorithmes cryptographiques à la main. L'enjeu est considérable pour plusieurs secteurs régulés. Dans le domaine médical, un assureur pourrait déployer un modèle prédictif sur des données diagnostiques de patients sans que ces données quittent le contrôle du médecin, en conformité avec les réglementations sur la vie privée. Dans le secteur énergétique, une entreprise pétrolière pourrait analyser des photos satellites de sites sensibles géopolitiquement sans les confier en clair à un tiers. Un opérateur télécom pourrait filtrer des e-mails clients pour détecter du spam sans violer les obligations de protection des communications personnelles. Dans tous ces cas, le cloud fournit la puissance de calcul, mais reste cryptographiquement aveugle au contenu traité, y compris Amazon lui-même, selon AWS. Cette publication fait suite à un premier article d'AWS qui démontrait le FHE appliqué à SageMaker en construisant manuellement un algorithme de régression linéaire via la bibliothèque bas niveau SEAL. L'approche présentée ici est plus généraliste : concrete-ml prend en charge plusieurs types de modèles standards et s'intègre directement dans les workflows SageMaker existants, via des conteneurs personnalisés. Le FHE se distingue également des environnements d'exécution confidentiels comme AWS Nitro Enclaves, où les données sont déchiffrées dans un enclave isolé avant traitement. Avec le FHE, aucun déchiffrement n'a lieu nulle part dans la chaîne. Le principal frein reste la performance, le FHE est significativement plus lent que le calcul en clair, ce qui limite pour l'instant son usage aux modèles relativement simples, mais la progression rapide des bibliothèques spécialisées laisse entrevoir des applications plus larges à moyen terme.

UECette technique répond directement aux exigences du RGPD en permettant aux entreprises européennes de sous-traiter des inférences ML à des clouds américains sans jamais exposer leurs données sensibles au fournisseur.

SécuritéTuto
1 source
☕️ Washington veut pouvoir tester les nouveaux modèles IA avant tout le monde
3Next INpact 

☕️ Washington veut pouvoir tester les nouveaux modèles IA avant tout le monde

Microsoft, Google et xAI ont conclu des accords avec le Centre américain pour les standards et l'innovation en IA (CAISI) afin de lui fournir un accès anticipé à leurs modèles les plus avancés avant tout déploiement public. Ces modèles seront livrés sans garde-fous de sécurité, ce qui permettra aux chercheurs gouvernementaux de tester leurs capacités dans des scénarios hostiles réalistes. Le CAISI, qui avait déjà signé des accords similaires avec OpenAI et Anthropic, compte à ce jour une quarantaine d'évaluations de modèles à son actif, dont certains n'avaient pas encore été mis à la disposition du grand public. Microsoft a confirmé auprès de Reuters cette collaboration visant à identifier des "comportements inattendus" dans ses systèmes, et a par ailleurs signé un accord comparable avec l'AI Security Institute britannique. Cette initiative répond à une préoccupation croissante à Washington : ne pas découvrir les capacités réelles d'un nouveau modèle IA en même temps que le reste du monde, hackers inclus. Le lancement récent de Mythos, le modèle de pointe d'Anthropic, a cristallisé ces inquiétudes chez les spécialistes de la cyberdéfense. Entre les mains de pirates informatiques, un tel système pourrait potentiellement identifier et exploiter des failles dans des infrastructures critiques à une vitesse et une échelle inédites. C'est précisément pour limiter ce risque que le déploiement de Mythos a été restreint à une cinquantaine d'organisations sélectionnées. Le CAISI a ainsi fait évoluer sa mission : au-delà du développement de standards de tests, il évalue désormais les risques stratégiques et militaires que font peser ces modèles sur la sécurité nationale. Créé sous l'administration Biden comme AI Safety Institute, rattaché au département du Commerce, cet organisme a été rebaptisé CAISI par l'administration Trump tout en conservant ses attributions fondamentales. Son rôle s'inscrit dans un resserrement général des liens entre Washington et l'industrie de l'IA. La semaine précédant ces annonces, le Pentagone dévoilait des accords avec plusieurs fournisseurs d'IA pour l'exploitation de leurs modèles dans des missions classifiées, écartant notamment Anthropic du lot principal, même si Mythos pourrait malgré tout y être intégré selon certaines sources. La course aux modèles de frontière confronte ainsi les grandes puissances à un dilemme inédit : plus ces systèmes sont capables, plus ils deviennent à la fois des atouts stratégiques et des vecteurs de risques que les États cherchent à anticiper avant que le marché ne les diffuse à tous.

UEL'approche américaine de tests pré-déploiement sans garde-fous, couplée à l'accord similaire avec l'AI Security Institute britannique, crée une référence normative qui pourrait renforcer les exigences d'évaluation des modèles frontières dans le cadre de l'AI Act européen.

SécuritéOpinion
1 source
Un seul neurone suffit à contourner l'alignement de sécurité des grands modèles de langage
4Apple Machine Learning 

Un seul neurone suffit à contourner l'alignement de sécurité des grands modèles de langage

Une équipe de chercheurs a mis au jour une faille structurelle dans les mécanismes de sécurité des grands modèles de langage : un seul neurone suffit à contourner l'alignement censé bloquer les contenus dangereux. L'étude montre que la sécurité de ces modèles repose en réalité sur deux systèmes distincts sur le plan mécanique, des neurones dits de refus, qui décident si un savoir jugé nuisible doit être exprimé, et des neurones dits de concept, qui encodent ce savoir lui-même. En ciblant un unique neurone dans chacun de ces deux systèmes, les chercheurs ont réussi à provoquer les deux types d'échec possibles, en supprimant le refus pour faire répondre le modèle à des requêtes explicitement dangereuses, et en amplifiant l'activation d'un concept pour faire surgir du contenu nuisible à partir de questions anodines. L'expérience a été menée sur sept modèles issus de deux familles différentes, avec des tailles allant de 1,7 à 70 milliards de paramètres, sans nécessiter le moindre réentraînement ni la moindre manipulation du prompt. Ce résultat fragilise l'idée que les garde-fous actuels des modèles conversationnels offrent une protection robuste. Si une intervention aussi minime, sur un seul neurone parmi des milliards de paramètres, suffit à annuler ou à détourner l'alignement de sécurité, cela signifie que ces protections reposent sur des points de défaillance uniques plutôt que sur une architecture de sécurité distribuée et redondante. Pour les entreprises qui déploient ces modèles dans des produits grand public, cela relance la question de la fiabilité réelle des filtres de sécurité face à des acteurs malveillants ayant accès aux poids du modèle. Cette découverte s'inscrit dans le champ de l'interprétabilité mécaniste, qui cherche à comprendre le fonctionnement interne des réseaux de neurones plutôt que de les traiter comme des boîtes noires. Elle rejoint une série de travaux récents ayant démontré la fragilité de l'alignement par ajustement fin face à des interventions ciblées au niveau des activations internes, relançant le débat sur la nécessité de repenser en profondeur les méthodes de sécurisation des modèles avant leur diffusion à grande échelle.

SécuritéActu
1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, l'essentiel de l'IA · désinscription en un clic