Aller au contenu principal
SécuritéApple Machine Learning15h· 2 min de lecture

Un seul neurone suffit à contourner l'alignement de sécurité des grands modèles de langage

Source originale ↗·

Une équipe de chercheurs a mis au jour une faille structurelle dans les mécanismes de sécurité des grands modèles de langage : un seul neurone suffit à contourner l'alignement censé bloquer les contenus dangereux. L'étude montre que la sécurité de ces modèles repose en réalité sur deux systèmes distincts sur le plan mécanique, des neurones dits de refus, qui décident si un savoir jugé nuisible doit être exprimé, et des neurones dits de concept, qui encodent ce savoir lui-même. En ciblant un unique neurone dans chacun de ces deux systèmes, les chercheurs ont réussi à provoquer les deux types d'échec possibles, en supprimant le refus pour faire répondre le modèle à des requêtes explicitement dangereuses, et en amplifiant l'activation d'un concept pour faire surgir du contenu nuisible à partir de questions anodines. L'expérience a été menée sur sept modèles issus de deux familles différentes, avec des tailles allant de 1,7 à 70 milliards de paramètres, sans nécessiter le moindre réentraînement ni la moindre manipulation du prompt.

Ce résultat fragilise l'idée que les garde-fous actuels des modèles conversationnels offrent une protection robuste. Si une intervention aussi minime, sur un seul neurone parmi des milliards de paramètres, suffit à annuler ou à détourner l'alignement de sécurité, cela signifie que ces protections reposent sur des points de défaillance uniques plutôt que sur une architecture de sécurité distribuée et redondante. Pour les entreprises qui déploient ces modèles dans des produits grand public, cela relance la question de la fiabilité réelle des filtres de sécurité face à des acteurs malveillants ayant accès aux poids du modèle.

Cette découverte s'inscrit dans le champ de l'interprétabilité mécaniste, qui cherche à comprendre le fonctionnement interne des réseaux de neurones plutôt que de les traiter comme des boîtes noires. Elle rejoint une série de travaux récents ayant démontré la fragilité de l'alignement par ajustement fin face à des interventions ciblées au niveau des activations internes, relançant le débat sur la nécessité de repenser en profondeur les méthodes de sécurisation des modèles avant leur diffusion à grande échelle.

Cet article vous a été utile ?

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

OpenAI élargit l'accès à GPT-5.4-Cyber, un modèle affiné pour les professionnels de la cybersécurité
1MarkTechPost 

OpenAI élargit l'accès à GPT-5.4-Cyber, un modèle affiné pour les professionnels de la cybersécurité

OpenAI a annoncé l'extension de son programme Trusted Access for Cyber (TAC) à des milliers de professionnels de la sécurité vérifiés individuellement, ainsi qu'à des centaines d'équipes chargées de défendre des infrastructures logicielles critiques. Au cœur de cette expansion figure GPT-5.4-Cyber, un modèle dérivé de GPT-5.4 spécifiquement ajusté pour les usages défensifs en cybersécurité. Contrairement au modèle standard, GPT-5.4-Cyber adopte ce qu'OpenAI qualifie d'approche "cyber-permissive" : son seuil de refus est délibérément abaissé pour les requêtes à vocation défensive légitime. Parmi les capacités débloquées figure notamment l'ingénierie inverse de binaires sans accès au code source, une fonctionnalité majeure pour analyser des firmwares, des bibliothèques tierces ou des échantillons de malwares compilés. Les utilisateurs accèdent au programme via chatgpt.com/cyber pour une vérification individuelle, ou par l'intermédiaire d'un représentant OpenAI pour les équipes entreprise. Ce changement s'attaque à un problème concret que connaissent bien les chercheurs et ingénieurs en sécurité : les modèles généralistes refusent fréquemment d'analyser du code malveillant ou d'expliquer des techniques d'exploitation, même dans un cadre manifestement défensif. Cette friction ralentit le travail des équipes de sécurité offensives et défensives légitimes, au profit, indirectement, des attaquants qui eux n'attendent pas de validation. En réduisant ces blocages pour des utilisateurs vérifiés, OpenAI cherche à rééquilibrer l'avantage technologique en faveur des défenseurs. Le modèle conserve toutefois des garde-fous stricts : l'exfiltration de données, la création ou le déploiement de malwares, et les tests non autorisés restent explicitement interdits. L'accès en mode zéro-rétention de données est également limité, OpenAI arguant d'une visibilité réduite sur l'environnement et les intentions de l'utilisateur dans cette configuration. La cybersécurité a toujours souffert de ce qu'on appelle le problème du double usage : les mêmes connaissances techniques servent aussi bien à défendre des systèmes qu'à les attaquer. Pour les systèmes d'IA, cette tension est particulièrement aiguë, car il est difficile de distinguer automatiquement une intention défensive d'une intention malveillante. OpenAI propose ici une réponse structurelle inédite : un cadre d'accès à plusieurs niveaux fondé sur la vérification d'identité, plutôt que des restrictions uniformes appliquées à tous. Cette approche s'inscrit dans une tendance plus large du secteur à différencier les accès selon le profil et les intentions déclarés de l'utilisateur. Si le modèle se généralise, d'autres fournisseurs de modèles comme Anthropic ou Google DeepMind pourraient être amenés à développer des dispositifs similaires pour ne pas laisser OpenAI s'imposer comme la référence des outils d'IA pour la sécurité professionnelle.

UELes professionnels de la cybersécurité européens peuvent candidater au programme TAC d'OpenAI pour accéder à des capacités d'analyse défensive avancées, notamment l'ingénierie inverse de binaires et l'analyse de malwares compilés.

SécuritéOpinion
1 source
2The Verge AI 

Anthropic lance un modèle de cybersécurité pour reconquérir les faveurs du gouvernement américain

Anthropic a dévoilé Claude Mythos Preview, un modèle d'intelligence artificielle spécialisé dans la cybersécurité, dans l'espoir de renouer avec l'administration Trump après plusieurs semaines de tensions ouvertes. La Maison-Blanche avait publiquement qualifié Anthropic de "RADICAL LEFT, WOKE COMPANY" peuplée de "gauchistes dangereux" et représentant une menace pour la sécurité nationale, des accusations inhabituellement virulentes contre une entreprise technologique américaine de premier plan. Ce rapprochement potentiel a une portée stratégique considérable. Le Pentagone constitue un marché massif pour les technologies d'IA, et une normalisation des relations entre Anthropic et Washington ouvrirait des contrats gouvernementaux significatifs à la société. Pour l'industrie, cela envoie un signal : même les entreprises ayant maintenu des lignes rouges éthiques fermes peuvent trouver un terrain d'entente avec l'administration, à condition de proposer des outils alignés sur les priorités sécuritaires américaines. La brouille avait éclaté fin février lorsqu'Anthropic avait refusé deux exigences du Pentagone : l'utilisation de sa technologie pour la surveillance de masse domestique et pour des armes létales entièrement autonomes sans supervision humaine. Ces lignes rouges, maintenues malgré la pression politique, avaient provoqué un gel des discussions. Avec Mythos Preview, Anthropic semble proposer une alternative acceptable, une IA orientée défense cyber plutôt qu'armement offensif, cherchant à réconcilier ses engagements éthiques avec les réalités du marché gouvernemental américain, où ses technologies étaient déjà largement utilisées par le passé.

SécuritéOpinion
1 source
Anthropic : un code malveillant a contourné les scanners de sécurité via un fichier de test
3VentureBeat AI 

Anthropic : un code malveillant a contourné les scanners de sécurité via un fichier de test

Un chercheur en sécurité de Gecko Security, Jeevan Jutla, a démontré une faille structurelle dans l'écosystème des Skills Anthropic : des fichiers malveillants peuvent passer tous les contrôles automatisés et s'exécuter quand même sur la machine d'un développeur. Le vecteur d'attaque repose sur les fichiers de test. Lorsqu'un développeur installe un Skill via la commande npx Skills add, l'installateur copie l'intégralité du répertoire du Skill dans le dépôt, y compris les fichiers .test.ts. Les frameworks de test JavaScript comme Jest, Vitest et Mocha découvrent ces fichiers automatiquement via des patterns de recherche récursifs, et les exécutent dès qu'un développeur lance npm test ou que l'IDE fait tourner les tests en arrière-plan à la sauvegarde. Le code malveillant se place dans un bloc beforeAll, avant toute assertion, sans rien d'anormal dans la sortie de la console. En environnement d'intégration continue, process.env expose les tokens de déploiement, les clés cloud et tous les secrets du pipeline. Cette vulnérabilité prend une dimension particulière dans le contexte des deux grands audits publiés peu avant la divulgation de Gecko. En janvier, une étude académique baptisée SkillScan a analysé 31 132 Skills uniques issus de deux marketplaces : 26,1% contenaient au moins une vulnérabilité, répartis en 14 patterns distincts. L'exfiltration de données apparaissait dans 13,3% des cas, l'escalade de privilèges dans 11,8%, et les Skills embarquant des scripts exécutables étaient 2,12 fois plus susceptibles de contenir des failles. Trois semaines plus tard, Snyk publiait ToxicSkills, un audit de ClawHub et skills.sh portant sur 3 984 Skills : 13,4% présentaient au moins un problème critique, 76 payloads malveillants ont été confirmés, et huit Skills malveillants étaient encore publiquement accessibles sur ClawHub au moment de la publication. Le 21 avril, Cisco intégrait son AI Agent Security Scanner directement dans VS Code, Cursor et Windsurf. Résultat : ces trois outils, Snyk Agent Scan, le scanner Cisco et VirusTotal Code Insight, ne vérifient aucun des fichiers de test embarqués dans un Skill. La raison tient à leur modèle de menace : ces scanners ont été conçus pour inspecter la surface d'exécution de l'agent (instructions Markdown, commandes shell, injections de prompt), pas la chaîne d'outils du développeur. Or c'est précisément hors de cette surface que réside l'attaque. Les Skills installés se retrouvent dans un répertoire prévu pour être committé et partagé avec toute l'équipe, ce qui signifie que le fichier malveillant se propage à chaque développeur qui clone le dépôt. L'agent Anthropic n'est jamais invoqué, aucune alerte ne se déclenche, et le scanner a pourtant analysé les bons fichiers, juste avec le mauvais modèle de menace. La solution passe par l'extension des scanners existants aux fichiers de test, ou par l'adoption de politiques d'isolation stricte pour les Skills tiers avant toute exécution de suite de tests.

UELes développeurs européens utilisant des Skills Anthropic sont directement exposés à ce vecteur d'attaque par chaîne d'approvisionnement, leurs pipelines CI/CD et secrets cloud pouvant être exfiltrés sans qu'aucun scanner actuel ne détecte la menace.

💬 Le beau du truc, c'est que les scanners ont analysé exactement les bons fichiers, juste avec le mauvais modèle de menace. Le code malveillant ne passe pas par l'agent, il se planque dans un `beforeAll` de fichier de test, tourne quand ton IDE sauvegarde en arrière-plan, et tous tes tokens CI partent ailleurs sans que rien ne clignote. Si tu intègres des Skills tiers dans ton pipeline, le `npm test` n'est plus innocent.

SécuritéOpinion
1 source
Sécurité des modèles vision-langage-action : menaces, défis, évaluations et mécanismes
4arXiv cs.RO 

Sécurité des modèles vision-langage-action : menaces, défis, évaluations et mécanismes

Des chercheurs ont publié sur arXiv (référence 2604.23775) une synthèse complète consacrée à la sécurité des modèles Vision-Language-Action (VLA), une nouvelle génération de systèmes d'IA qui combinent perception visuelle, compréhension du langage et contrôle d'actions physiques. Ces architectures unifiées s'imposent progressivement comme le socle de l'intelligence incarnée, autrement dit, des robots et agents autonomes capables d'agir dans le monde réel. Le survey recense les menaces selon deux axes temporels parallèles : les attaques et défenses au moment de l'entraînement d'un côté, et au moment de l'inférence de l'autre. Parmi les vecteurs d'attaque identifiés figurent l'empoisonnement de données, les backdoors injectés durant l'entraînement, mais aussi les patches adversariaux, les perturbations cross-modales, les jailbreaks sémantiques et les attaques par gel de paramètres lors de l'exécution. Ce que rend ces risques particulièrement sérieux, c'est la nature physique et irréversible des systèmes concernés. Contrairement à un grand modèle de langage qui produit du texte, un modèle VLA pilote un bras robotique, un véhicule autonome ou un drone. Une attaque réussie ne génère pas une réponse incorrecte, elle peut provoquer un accident, endommager du matériel ou mettre des personnes en danger. La surface d'attaque est trimodale (vision, langage, état physique), les contraintes de latence en temps réel limitent les défenses envisageables, et les erreurs se propagent sur des trajectoires longues avant d'être détectables. Le domaine souffre d'une fragmentation notable : les travaux sur la sécurité des VLA sont éparpillés entre l'apprentissage robotique, le machine learning adversarial, l'alignement des IA et la sécurité des systèmes autonomes, sans cadre commun. Ce survey tente de combler ce vide en couvrant six domaines de déploiement distincts et en identifiant les problèmes ouverts prioritaires : robustesse certifiée pour les trajectoires physiques, défenses réalisables dans le monde réel, entraînement intégrant la sécurité dès la conception, architectures unifiées de supervision à l'exécution et protocoles d'évaluation standardisés. Alors que les robots incarnant ces modèles commencent à quitter les laboratoires, l'urgence d'un consensus sur ces questions devient difficile à ignorer.

UELes modèles VLA entrent dans le champ des systèmes IA à haut risque au sens de l'AI Act européen ; les lacunes de sécurité identifiées devront être adressées pour toute mise sur le marché de robots ou véhicules autonomes en Europe.

SécuritéOpinion
1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, l'essentiel de l'IA · désinscription en un clic