Aller au contenu principal
SécuritéAWS ML Blog5h· 2 min de lecture

Enseigner aux modèles à oublier : le désapprentissage sélectif avec Amazon Nova

Source originale ↗·

Les équipes de développement Amazon Nova viennent de détailler une nouvelle méthode baptisée rDPO (Reverse Direct Preference Optimization), conçue pour résoudre un problème récurrent chez les entreprises qui déploient des modèles de fondation : les garde-fous de modération de contenu bloquent souvent des usages professionnels légitimes. Une société de médias qui résume des scénarios contenant un langage cru, une entreprise de cybersécurité qui simule des attaques réelles, ou un cabinet juridique qui traite des preuves sensibles se heurtent régulièrement à des refus du modèle, même lorsque leur intention est parfaitement défensive. L'exemple typique cité par Amazon est celui d'une équipe de sécurité demandant à un modèle de générer un email de phishing factice pour former ses employés, et se voyant opposer un refus malgré le caractère pédagogique de la demande. Amazon a donc lancé les Customizable Content Moderation Settings (CCMS) pour Nova, un système permettant à des clients approuvés d'ajuster sélectivement les réglages de sécurité sur quatre piliers : la sécurité physique (armes, activités dangereuses, substances contrôlées), le contenu sensible (grossièretés, nudité, harcèlement), l'équité (biais et considérations culturelles) et la sécurité informatique (malwares et contenus malveillants). Certains contrôles fondamentaux, comme la protection des enfants et de la vie privée, restent quant à eux non configurables.

Cette avancée compte parce qu'elle change la donne pour les entreprises qui utilisent des modèles d'IA générative dans des contextes professionnels spécialisés où le blocage systématique de certains contenus devient un obstacle plutôt qu'une protection. Jusqu'ici, ces refus intégrés au niveau des paramètres du modèle pendant l'alignement post-entraînement ne pouvaient pas être contournés par du simple prompt engineering, obligeant les entreprises à composer avec des limitations rigides ou à entraîner leurs propres modèles depuis zéro, une option coûteuse et complexe. Avec rDPO, Amazon propose une alternative plus fine : plutôt que de désactiver un garde-fou dans son ensemble, la technique permet de retirer chirurgicalement un comportement d'évitement appris sur une politique précise, tout en conservant l'alignement du modèle sur toutes les autres politiques et en préservant ses capacités générales comme le raisonnement, le code ou les mathématiques.

Sur le plan technique, la solution s'appuie sur des adaptateurs LoRA (Low-Rank Adaptation) entraînés spécifiquement pour désapprendre certaines politiques de responsabilité (RAI) du modèle central, chaque client recevant un adaptateur identifié par un ARN (Amazon Resource Name) unique. Le défi scientifique consistait à désapprendre efficacement un comportement de refus sans dégrader la qualité générale du modèle, un piège classique du fine-tuning direct. Une approche existante, la Negative Preference Optimization (NPO), dérivée de la Direct Preference Optimization (DPO), permettait déjà de faire oublier un comportement en retirant les échantillons positifs de l'objectif d'optimisation, mais sans guider le modèle vers une réponse alternative de bonne qualité, ce qui pouvait dégrader les résultats. rDPO résout ce manque en inversant la paire de préférences dans l'objectif DPO, poussant le modèle non seulement à cesser de refuser, mais aussi à produire une réponse de substitution pertinente. Cette approche s'inscrit dans un mouvement plus large de recherche sur le désapprentissage sélectif des modèles de langage, un domaine appelé à prendre de l'importance à mesure que les entreprises réclament un contrôle plus granulaire sur l'alignement de leurs IA en production.

Dans nos dossiers

Cet article vous a été utile ?

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

Sécuriser le déploiement des modèles de pointe auprès des clients
1AWS ML Blog 

Sécuriser le déploiement des modèles de pointe auprès des clients

Voici la traduction/résumé en français : Amazon Web Services (AWS) a annoncé que les modèles Claude Fable 5 d'Anthropic redeviennent disponibles dès demain pour les clients de Bedrock, sa plateforme d'intelligence artificielle, avec des garde-fous renforcés contre les usages malveillants. Cette annonce s'inscrit dans la continuité de Bedrock Mantle, lancé l'an dernier pour offrir une protection renforcée des poids des modèles et de la confidentialité des données. AWS travaille également en étroite collaboration avec Anthropic et d'autres acteurs du secteur dans le cadre du Projet Glasswing, une initiative visant à encadrer le déploiement de modèles de nouvelle génération comme Claude Mythos, dont les capacités en cybersécurité sont particulièrement avancées. L'équipe de sécurité offensive d'AWS (Red Team) a directement contribué, aux côtés d'Anthropic, à améliorer les protections de Fable 5. Lorsque ses garde-fous se déclenchent, le modèle bascule automatiquement vers Opus 4.8, déjà accessible publiquement. Cette annonce illustre un dilemme central pour l'industrie de l'IA : comment mettre des capacités avancées de cybersécurité entre les mains des équipes de défense sans donner simultanément aux attaquants les moyens de mener des recherches de vulnérabilités plus poussées. AWS souligne que l'objectif prioritaire des garde-fous est justement d'empêcher les acteurs malveillants d'accéder à ce niveau de recherche offensive, tout en laissant aux entreprises, gouvernements et institutions académiques le temps de renforcer leurs défenses avant que ces capacités ne soient exploitées à grande échelle. Pour les clients de Bedrock, cela signifie un accès plus rapide aux modèles les plus récents, avec les standards de sécurité et de confidentialité attendus d'AWS, sans avoir à choisir entre performance et prudence. Cette collaboration s'inscrit dans un contexte plus large où les modèles frontières gagnent rapidement en puissance, notamment sur des tâches sensibles comme l'analyse de vulnérabilités logicielles. Anthropic a publié de son côté un billet de blog intitulé "Redeploying Fable 5", détaillant sa manière d'évaluer les capacités de cette nouvelle génération de modèles ainsi que ses engagements et délais de réponse en cas de signalement de problèmes après déploiement. AWS salue cette transparence et annonce vouloir continuer à faire évoluer les garde-fous au fur et à mesure que de nouveaux modèles sortent et que les enseignements s'accumulent sur l'efficacité des protections actuelles. Les deux entreprises présentent cette coopération comme une première tentative structurée de définir des niveaux de gravité et des protocoles de réponse spécifiques aux modèles capables d'assister en cybersécurité, un cadre appelé à s'affiner avec le reste du secteur.

💬 Le détail qui compte, c'est le fallback automatique : si Fable 5 dérape, il bascule tout seul vers Opus 4.8. Sur le papier ça règle le dilemme de la cybersécu offensive, mais Glasswing c'est surtout l'aveu que les modèles progressent plus vite que les garde-fous qu'on sait construire autour. Reste à voir si ça tient face à un vrai attaquant motivé, pas juste face à un red team maison.

SécuritéActu
1 source
Inférence ML chiffrée de bout en bout avec Amazon SageMaker AI et le chiffrement homomorphe
2AWS ML Blog 

Inférence ML chiffrée de bout en bout avec Amazon SageMaker AI et le chiffrement homomorphe

Amazon Web Services propose une nouvelle approche pour exécuter des modèles de machine learning dans le cloud sans jamais exposer les données traitées, même au fournisseur d'infrastructure. La méthode repose sur le chiffrement homomorphe intégral (FHE, pour Fully Homomorphic Encryption), une technique cryptographique qui permet d'effectuer des calculs directement sur des données chiffrées, sans jamais les déchiffrer. Concrètement, un client envoie une requête chiffrée à un modèle hébergé sur Amazon SageMaker AI, le modèle produit une prédiction chiffrée, et seul le client peut déchiffrer le résultat final. La bibliothèque open source concrete-ml, compatible avec l'API scikit-learn, sert de couche de haut niveau pour entraîner et déployer ces modèles FHE sans avoir à coder les algorithmes cryptographiques à la main. L'enjeu est considérable pour plusieurs secteurs régulés. Dans le domaine médical, un assureur pourrait déployer un modèle prédictif sur des données diagnostiques de patients sans que ces données quittent le contrôle du médecin, en conformité avec les réglementations sur la vie privée. Dans le secteur énergétique, une entreprise pétrolière pourrait analyser des photos satellites de sites sensibles géopolitiquement sans les confier en clair à un tiers. Un opérateur télécom pourrait filtrer des e-mails clients pour détecter du spam sans violer les obligations de protection des communications personnelles. Dans tous ces cas, le cloud fournit la puissance de calcul, mais reste cryptographiquement aveugle au contenu traité, y compris Amazon lui-même, selon AWS. Cette publication fait suite à un premier article d'AWS qui démontrait le FHE appliqué à SageMaker en construisant manuellement un algorithme de régression linéaire via la bibliothèque bas niveau SEAL. L'approche présentée ici est plus généraliste : concrete-ml prend en charge plusieurs types de modèles standards et s'intègre directement dans les workflows SageMaker existants, via des conteneurs personnalisés. Le FHE se distingue également des environnements d'exécution confidentiels comme AWS Nitro Enclaves, où les données sont déchiffrées dans un enclave isolé avant traitement. Avec le FHE, aucun déchiffrement n'a lieu nulle part dans la chaîne. Le principal frein reste la performance, le FHE est significativement plus lent que le calcul en clair, ce qui limite pour l'instant son usage aux modèles relativement simples, mais la progression rapide des bibliothèques spécialisées laisse entrevoir des applications plus larges à moyen terme.

UECette technique répond directement aux exigences du RGPD en permettant aux entreprises européennes de sous-traiter des inférences ML à des clouds américains sans jamais exposer leurs données sensibles au fournisseur.

SécuritéTuto
1 source
☕️ Washington veut pouvoir tester les nouveaux modèles IA avant tout le monde
3Next INpact 

☕️ Washington veut pouvoir tester les nouveaux modèles IA avant tout le monde

Microsoft, Google et xAI ont conclu des accords avec le Centre américain pour les standards et l'innovation en IA (CAISI) afin de lui fournir un accès anticipé à leurs modèles les plus avancés avant tout déploiement public. Ces modèles seront livrés sans garde-fous de sécurité, ce qui permettra aux chercheurs gouvernementaux de tester leurs capacités dans des scénarios hostiles réalistes. Le CAISI, qui avait déjà signé des accords similaires avec OpenAI et Anthropic, compte à ce jour une quarantaine d'évaluations de modèles à son actif, dont certains n'avaient pas encore été mis à la disposition du grand public. Microsoft a confirmé auprès de Reuters cette collaboration visant à identifier des "comportements inattendus" dans ses systèmes, et a par ailleurs signé un accord comparable avec l'AI Security Institute britannique. Cette initiative répond à une préoccupation croissante à Washington : ne pas découvrir les capacités réelles d'un nouveau modèle IA en même temps que le reste du monde, hackers inclus. Le lancement récent de Mythos, le modèle de pointe d'Anthropic, a cristallisé ces inquiétudes chez les spécialistes de la cyberdéfense. Entre les mains de pirates informatiques, un tel système pourrait potentiellement identifier et exploiter des failles dans des infrastructures critiques à une vitesse et une échelle inédites. C'est précisément pour limiter ce risque que le déploiement de Mythos a été restreint à une cinquantaine d'organisations sélectionnées. Le CAISI a ainsi fait évoluer sa mission : au-delà du développement de standards de tests, il évalue désormais les risques stratégiques et militaires que font peser ces modèles sur la sécurité nationale. Créé sous l'administration Biden comme AI Safety Institute, rattaché au département du Commerce, cet organisme a été rebaptisé CAISI par l'administration Trump tout en conservant ses attributions fondamentales. Son rôle s'inscrit dans un resserrement général des liens entre Washington et l'industrie de l'IA. La semaine précédant ces annonces, le Pentagone dévoilait des accords avec plusieurs fournisseurs d'IA pour l'exploitation de leurs modèles dans des missions classifiées, écartant notamment Anthropic du lot principal, même si Mythos pourrait malgré tout y être intégré selon certaines sources. La course aux modèles de frontière confronte ainsi les grandes puissances à un dilemme inédit : plus ces systèmes sont capables, plus ils deviennent à la fois des atouts stratégiques et des vecteurs de risques que les États cherchent à anticiper avant que le marché ne les diffuse à tous.

UEL'approche américaine de tests pré-déploiement sans garde-fous, couplée à l'accord similaire avec l'AI Security Institute britannique, crée une référence normative qui pourrait renforcer les exigences d'évaluation des modèles frontières dans le cadre de l'AI Act européen.

SécuritéOpinion
1 source
4Next INpact 

Mythos : l’Europe tenue à l’écart du modèle IA le plus ambitieux du moment

Anthropic a dévoilé Mythos, son nouveau grand modèle de langage spécialisé dans la cybersécurité, en limitant drastiquement son accès à une quarantaine d'organisations et une dizaine d'entreprises, toutes américaines. Le modèle s'inscrit dans le projet Glasswing, dont l'objectif est de laisser le LLM analyser le code de logiciels pour détecter des bugs, corriger des vulnérabilités et boucher des failles de sécurité. JPMorgan Chase est le seul établissement bancaire partenaire confirmé à ce stade. Aux États-Unis, les banques ont été encouragées à adopter Mythos pour renforcer leurs systèmes. L'administration Trump a été directement présentée au modèle, malgré une relation tendue avec Anthropic : le gouvernement américain a désigné l'entreprise « fournisseur à risque pour la sécurité nationale » après qu'elle a refusé d'accorder une licence pour certains usages militaires, un différend qui se règle désormais devant les tribunaux. En Europe, sur les huit agences de cybersécurité interrogées par Politico, seule l'agence fédérale allemande BSI a indiqué avoir engagé des discussions avec Anthropic, sans pour autant avoir pu tester le modèle. Le Royaume-Uni fait figure d'exception : l'AISI, son organisme dédié à la sécurité de l'IA, a publié le 13 avril une première évaluation indépendante des capacités offensives de Mythos. Cette mise à l'écart de l'Europe illustre une fracture concrète dans l'accès aux technologies d'IA de pointe. Les infrastructures critiques européennes, gouvernements compris, n'ont pas été conviés au projet alors même qu'elles seraient potentiellement parmi les premières bénéficiaires d'un tel outil. L'agence néerlandaise NCSC-NL a souligné l'impossibilité de vérifier l'impact réel des vulnérabilités identifiées par Mythos, faute de détails techniques accessibles. Ce manque de transparence place les régulateurs européens dans une position d'observateurs passifs face à un modèle dont Anthropic elle-même revendique le potentiel « dévastateur » dans sa propre communication. L'épisode Mythos révèle une tension structurelle entre la puissance réglementaire européenne et sa dépendance technologique envers les acteurs américains. L'AI Act, malgré son ambition, ne garantit pas à l'Union un accès aux modèles les plus sensibles développés outre-Atlantique. Comme le résume Daniel Privitera, de l'ONG allemande KIRA, « l'Europe ne dispose actuellement d'aucun plan pour garantir cet accès ». La distribution sélective de Mythos préfigure un enjeu qui va s'amplifier : dans un monde où les capacités offensives et défensives en cybersécurité reposent de plus en plus sur des LLM propriétaires, la souveraineté numérique se jouera aussi sur la capacité à accéder aux modèles de frontier, pas seulement à les réguler.

UELes agences de cybersécurité européennes, dont l'ANSSI en France, sont explicitement exclues de Mythos, laissant les infrastructures critiques du continent sans accès à un outil de détection de vulnérabilités que les États-Unis déploient déjà à l'échelle fédérale et bancaire.

SécuritéOpinion
1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, l'essentiel de l'IA · désinscription en un clic