SécuritéMIT Technology Review · 15 juil. 2026, 21:09· 2 min de lecture

GPT-Red : un LLM super-hacker qu'OpenAI a conçu pour renforcer la sécurité de ses modèles

Voici l'article traduit et résumé selon les consignes.

OpenAI a développé GPT-Red, un modèle de langage spécialisé dans le piratage informatique, conçu pour servir de partenaire d'entraînement adversarial afin de renforcer la sécurité de ses autres modèles. La semaine dernière, l'entreprise a lancé GPT-5.6, sa dernière version phare, et affirme que l'entraînement contre GPT-Red en a fait son modèle le plus robuste à ce jour. GPT-Red automatise le red-teaming, une évaluation de sécurité habituellement menée par des équipes d'humains, qui consiste à multiplier les tentatives pour détourner ou casser un système avant sa mise en production. Pour le construire, les chercheurs Nikhil Kandpal et Dylan Hunn, avec leur collègue Chris Choquette-Choo, ont placé un modèle non entraîné au piratage dans une boucle d'auto-apprentissage face à plusieurs autres modèles jouant les défenseurs, dans un environnement simulant navigation web, lecture d'e-mails, agendas et édition de code. Au fil des cycles, GPT-Red est devenu de plus en plus efficace pour attaquer, et les modèles adverses de plus en plus résistants. L'équipe a notamment découvert un nouveau type d'attaque baptisé "fake chain of thought" (fausse chaîne de pensée), consistant à insérer une entrée falsifiée dans le raisonnement interne d'un modèle pour lui faire accepter une information erronée comme déjà vérifiée.

Cette avancée répond à un problème croissant : à mesure que les modèles de langage gagnent en complexité et sont déployés sous forme d'agents interagissant avec des fichiers, des sites web, du code tiers et d'autres agents, la surface de risque s'élargit et les équipes humaines peinent à suivre le rythme des nouvelles techniques d'attaque, en particulier les injections de prompt, où un pirate glisse des instructions cachées pour faire exécuter au modèle des actions non désirées, comme copier des données confidentielles ou saboter une base de code. Selon Hunn, comparé à un testeur humain, GPT-Red se montre extrêmement persistant et précis pour identifier ce qui fonctionne réellement, ce qui permet à OpenAI de patcher les failles avant qu'elles ne soient exploitées en conditions réelles.

Cette approche s'inscrit dans une logique de anticipation : plutôt que de réagir aux attaques à mesure qu'elles apparaissent, OpenAI cherche à concevoir dès maintenant un système capable de découvrir de nouveaux modes d'attaque à mesure que ses modèles gagnent en capacités. Jessica Ji, analyste senior en sécurité IA au Center for Security and Emerging Technology de Georgetown, juge la méthode de self-play prometteuse. OpenAI a d'ailleurs testé les capacités offensives de GPT-Red en reproduisant une expérience de 2025 où des red-teamers humains avaient cherché des failles dans une version antérieure de GPT-5, une comparaison destinée à mesurer objectivement les progrès réalisés grâce à cette automatisation de la sécurité.

Dans nos dossiers

OpenAI GPT-5

Cet article vous a été utile ?

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

1MarkTechPost

OpenAI élargit l'accès à GPT-5.4-Cyber, un modèle affiné pour les professionnels de la cybersécurité

OpenAI a annoncé l'extension de son programme Trusted Access for Cyber (TAC) à des milliers de professionnels de la sécurité vérifiés individuellement, ainsi qu'à des centaines d'équipes chargées de défendre des infrastructures logicielles critiques. Au cœur de cette expansion figure GPT-5.4-Cyber, un modèle dérivé de GPT-5.4 spécifiquement ajusté pour les usages défensifs en cybersécurité. Contrairement au modèle standard, GPT-5.4-Cyber adopte ce qu'OpenAI qualifie d'approche "cyber-permissive" : son seuil de refus est délibérément abaissé pour les requêtes à vocation défensive légitime. Parmi les capacités débloquées figure notamment l'ingénierie inverse de binaires sans accès au code source, une fonctionnalité majeure pour analyser des firmwares, des bibliothèques tierces ou des échantillons de malwares compilés. Les utilisateurs accèdent au programme via chatgpt.com/cyber pour une vérification individuelle, ou par l'intermédiaire d'un représentant OpenAI pour les équipes entreprise. Ce changement s'attaque à un problème concret que connaissent bien les chercheurs et ingénieurs en sécurité : les modèles généralistes refusent fréquemment d'analyser du code malveillant ou d'expliquer des techniques d'exploitation, même dans un cadre manifestement défensif. Cette friction ralentit le travail des équipes de sécurité offensives et défensives légitimes, au profit, indirectement, des attaquants qui eux n'attendent pas de validation. En réduisant ces blocages pour des utilisateurs vérifiés, OpenAI cherche à rééquilibrer l'avantage technologique en faveur des défenseurs. Le modèle conserve toutefois des garde-fous stricts : l'exfiltration de données, la création ou le déploiement de malwares, et les tests non autorisés restent explicitement interdits. L'accès en mode zéro-rétention de données est également limité, OpenAI arguant d'une visibilité réduite sur l'environnement et les intentions de l'utilisateur dans cette configuration. La cybersécurité a toujours souffert de ce qu'on appelle le problème du double usage : les mêmes connaissances techniques servent aussi bien à défendre des systèmes qu'à les attaquer. Pour les systèmes d'IA, cette tension est particulièrement aiguë, car il est difficile de distinguer automatiquement une intention défensive d'une intention malveillante. OpenAI propose ici une réponse structurelle inédite : un cadre d'accès à plusieurs niveaux fondé sur la vérification d'identité, plutôt que des restrictions uniformes appliquées à tous. Cette approche s'inscrit dans une tendance plus large du secteur à différencier les accès selon le profil et les intentions déclarés de l'utilisateur. Si le modèle se généralise, d'autres fournisseurs de modèles comme Anthropic ou Google DeepMind pourraient être amenés à développer des dispositifs similaires pour ne pas laisser OpenAI s'imposer comme la référence des outils d'IA pour la sécurité professionnelle.

UELes professionnels de la cybersécurité européens peuvent candidater au programme TAC d'OpenAI pour accéder à des capacités d'analyse défensive avancées, notamment l'ingénierie inverse de binaires et l'analyse de malwares compilés.

SécuritéOpinion

1 source

2Siècle Digital

OpenAI travaille sur un modèle de cybersécurité destiné à concurrencer Mythos d’Anthropic

OpenAI prépare un modèle d'intelligence artificielle spécialisé dans la cybersécurité, développé en réponse directe à Mythos, le modèle similaire annoncé par Anthropic quelques jours plus tôt. L'information, rapportée par Axios, révèle que cet outil ne sera pas accessible au grand public : il sera distribué exclusivement à un cercle restreint de partenaires sélectionnés, notamment des entreprises technologiques et des acteurs spécialisés dans la sécurité informatique, selon le même modèle de distribution fermée qu'Anthropic a choisi pour Mythos. Cette approche restrictive reflète les enjeux sensibles liés aux modèles d'IA orientés cybersécurité, capables à la fois de défendre des systèmes et de les attaquer. En réservant l'accès à des partenaires de confiance, OpenAI tente de concilier l'utilité opérationnelle de l'outil avec les risques de détournement à des fins malveillantes. Pour les entreprises de sécurité partenaires, un tel modèle pourrait accélérer la détection de vulnérabilités, l'analyse de malwares et la réponse aux incidents, des tâches aujourd'hui largement manuelles et chronophages. La course entre OpenAI et Anthropic sur ce segment illustre une tendance plus large : les grands laboratoires d'IA cherchent à s'imposer dans des secteurs verticaux à haute valeur ajoutée, après avoir dominé les usages généralistes. La cybersécurité, marché mondial estimé à plusieurs centaines de milliards de dollars, attire également Google, Microsoft et des acteurs spécialisés comme CrowdStrike ou Palo Alto Networks, déjà engagés dans l'intégration de l'IA dans leurs plateformes. La rapidité de la réplique d'OpenAI suggère que ce segment est désormais considéré comme stratégique par les deux entreprises.

UELes entreprises européennes de cybersécurité pourraient accéder à ces modèles spécialisés via des partenariats, accélérant la détection de vulnérabilités et la réponse aux incidents sur le marché européen.

SécuritéActu

1 source

3MarkTechPost

19 outils de red teaming pour l'IA (2026) : sécurisez vos modèles ML

La sécurité des systèmes d'intelligence artificielle est devenue un enjeu majeur en 2026, poussant un nombre croissant d'équipes techniques à adopter des pratiques dites de "red teaming IA", une discipline qui consiste à tester les modèles d'apprentissage automatique en simulant des attaques adversariales réelles. Contrairement aux tests de pénétration classiques qui ciblent des failles logicielles connues, le red teaming IA explore des vulnérabilités spécifiques aux modèles génératifs : injection de prompt, empoisonnement de données, contournement des garde-fous (jailbreaking), fuite de données d'entraînement ou exploitation de biais. Un panorama publié en 2026 recense les 19 outils les plus fiables dans ce domaine, couvrant aussi bien des solutions open-source que des plateformes commerciales. Parmi eux figurent Garak, un toolkit open-source dédié aux LLM, PyRIT de Microsoft, l'outil AIF360 d'IBM centré sur les biais algorithmiques, Foolbox pour les attaques adversariales sur les modèles de vision, ou encore Mindgard et Dreadnode Crucible pour les évaluations automatisées de vulnérabilités. Des outils comme Guardrails ou Snyk s'adressent plus spécifiquement aux développeurs cherchant à intégrer la défense contre les injections de prompt directement dans leur pipeline de développement. L'importance de ces outils dépasse largement le cadre purement technique. Les organisations qui déploient des systèmes d'IA à fort impact, dans la santé, la finance, la justice ou les ressources humaines, sont désormais soumises à des cadres réglementaires qui exigent explicitement des évaluations adversariales. L'AI Act européen, le NIST Risk Management Framework américain et plusieurs décrets exécutifs aux États-Unis imposent ou recommandent fortement le red teaming pour les déploiements à haut risque. Au-delà de la conformité, ces pratiques permettent de détecter des comportements émergents imprévus, des failles qui n'apparaissent pas lors des tests standard en pré-production mais se manifestent en conditions réelles, avec des utilisateurs malveillants ou des données inattendues. Cette montée en puissance du red teaming IA s'inscrit dans un contexte de généralisation rapide des modèles génératifs en production, exposant des surfaces d'attaque inédites que les approches de sécurité traditionnelles ne couvrent pas. Microsoft, IBM et des startups spécialisées comme Mindgard ou Dreadnode ont investi massivement dans des plateformes capables d'automatiser ces tests et de les intégrer aux pipelines CI/CD, permettant une évaluation continue plutôt que ponctuelle. La tendance est à la combinaison d'expertise humaine et d'automatisation : les équipes de sécurité internes ou les prestataires spécialisés utilisent ces outils pour simuler des comportements d'attaquants sophistiqués, identifier les angles morts des modèles et renforcer leur résilience avant qu'une vulnérabilité ne soit exploitée en production.

UEL'AI Act européen imposant des évaluations adversariales pour les systèmes à haut risque, ces outils de red teaming deviennent indispensables pour les organisations françaises et européennes cherchant à se conformer aux exigences réglementaires.

SécuritéActu

1 source

4Apple Machine Learning

Un seul neurone suffit à contourner l'alignement de sécurité des grands modèles de langage

Une équipe de chercheurs a mis au jour une faille structurelle dans les mécanismes de sécurité des grands modèles de langage : un seul neurone suffit à contourner l'alignement censé bloquer les contenus dangereux. L'étude montre que la sécurité de ces modèles repose en réalité sur deux systèmes distincts sur le plan mécanique, des neurones dits de refus, qui décident si un savoir jugé nuisible doit être exprimé, et des neurones dits de concept, qui encodent ce savoir lui-même. En ciblant un unique neurone dans chacun de ces deux systèmes, les chercheurs ont réussi à provoquer les deux types d'échec possibles, en supprimant le refus pour faire répondre le modèle à des requêtes explicitement dangereuses, et en amplifiant l'activation d'un concept pour faire surgir du contenu nuisible à partir de questions anodines. L'expérience a été menée sur sept modèles issus de deux familles différentes, avec des tailles allant de 1,7 à 70 milliards de paramètres, sans nécessiter le moindre réentraînement ni la moindre manipulation du prompt. Ce résultat fragilise l'idée que les garde-fous actuels des modèles conversationnels offrent une protection robuste. Si une intervention aussi minime, sur un seul neurone parmi des milliards de paramètres, suffit à annuler ou à détourner l'alignement de sécurité, cela signifie que ces protections reposent sur des points de défaillance uniques plutôt que sur une architecture de sécurité distribuée et redondante. Pour les entreprises qui déploient ces modèles dans des produits grand public, cela relance la question de la fiabilité réelle des filtres de sécurité face à des acteurs malveillants ayant accès aux poids du modèle. Cette découverte s'inscrit dans le champ de l'interprétabilité mécaniste, qui cherche à comprendre le fonctionnement interne des réseaux de neurones plutôt que de les traiter comme des boîtes noires. Elle rejoint une série de travaux récents ayant démontré la fragilité de l'alignement par ajustement fin face à des interventions ciblées au niveau des activations internes, relançant le débat sur la nécessité de repenser en profondeur les méthodes de sécurisation des modèles avant leur diffusion à grande échelle.

SécuritéActu

1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, l'essentiel de l'IA · désinscription en un clic