GPT-Red : un LLM super-hacker qu'OpenAI a conçu pour renforcer la sécurité de ses modèles

OpenAI a développé GPT-Red, un modèle de langage spécialisé dans le piratage informatique, conçu pour servir de partenaire d'entraînement adversarial afin de renforcer la sécurité de ses autres modèles. La semaine dernière, l'entreprise a lancé GPT-5.6, sa dernière version phare, et affirme que l'entraînement contre GPT-Red en a fait son modèle le plus robuste à ce jour. GPT-Red automatise le red-teaming, une évaluation de sécurité habituellement menée par des équipes d'humains, qui consiste à multiplier les tentatives pour détourner ou casser un système avant sa mise en production. Pour le construire, les chercheurs Nikhil Kandpal et Dylan Hunn, avec leur collègue Chris Choquette-Choo, ont placé un modèle non entraîné au piratage dans une boucle d'auto-apprentissage face à plusieurs autres modèles jouant les défenseurs, dans un environnement simulant navigation web, lecture d'e-mails, agendas et édition de code. Au fil des cycles, GPT-Red est devenu de plus en plus efficace pour attaquer, et les modèles adverses de plus en plus résistants. L'équipe a notamment découvert un nouveau type d'attaque baptisé "fake chain of thought" (fausse chaîne de pensée), consistant à insérer une entrée falsifiée dans le raisonnement interne d'un modèle pour lui faire accepter une information erronée comme déjà vérifiée.

Cette avancée répond à un problème croissant : à mesure que les modèles de langage gagnent en complexité et sont déployés sous forme d'agents interagissant avec des fichiers, des sites web, du code tiers et d'autres agents, la surface de risque s'élargit et les équipes humaines peinent à suivre le rythme des nouvelles techniques d'attaque, en particulier les injections de prompt, où un pirate glisse des instructions cachées pour faire exécuter au modèle des actions non désirées, comme copier des données confidentielles ou saboter une base de code. Selon Hunn, comparé à un testeur humain, GPT-Red se montre extrêmement persistant et précis pour identifier ce qui fonctionne réellement, ce qui permet à OpenAI de patcher les failles avant qu'elles ne soient exploitées en conditions réelles.

Cette approche s'inscrit dans une logique de anticipation : plutôt que de réagir aux attaques à mesure qu'elles apparaissent, OpenAI cherche à concevoir dès maintenant un système capable de découvrir de nouveaux modes d'attaque à mesure que ses modèles gagnent en capacités. Jessica Ji, analyste senior en sécurité IA au Center for Security and Emerging Technology de Georgetown, juge la méthode de self-play prometteuse. OpenAI a d'ailleurs testé les capacités offensives de GPT-Red en reproduisant une expérience de 2025 où des red-teamers humains avaient cherché des failles dans une version antérieure de GPT-5, une comparaison destinée à mesurer objectivement les progrès réalisés grâce à cette automatisation de la sécurité.