OpenAI dévoile GPT-Red, un modèle interne de red-teaming automatisé qui bat les testeurs humains à 84 % contre 13 % sur l'injection de prompts
OpenAI a publié cette semaine les détails de GPT-Red, un modèle interne exclusivement dédié au red-teaming automatisé, dont la mission est d'attaquer les propres modèles de l'entreprise pour détecter des failles d'injection de prompt. Entraîné par apprentissage par renforcement en auto-jeu à l'échelle de calcul de ses plus gros runs de post-entraînement, GPT-Red affronte simultanément une collection de modèles défenseurs variés sur un large éventail de scénarios. Le système de récompense est central: GPT-Red gagne des points lorsqu'il provoque un échec valide, comme une injection de prompt réussie, tandis que les défenseurs sont récompensés s'ils résistent tout en menant leur tâche à bien, ce qui les empêche de simplement tout refuser. À force d'entraînement, GPT-Red finit par mettre en échec la quasi-totalité des modèles internes et de production testés, jusqu'à GPT-5.5 inclus. Il a aussi découvert seul une attaque inédite baptisée Fake Chain-of-Thought, qui consiste à insérer une fausse entrée dans le raisonnement interne du modèle cible pour lui faire agir sur une information falsifiée qu'il croit avoir vérifiée. Sur une arène d'injection indirecte reproduisant les travaux de Dziemian et al. (2025), GPT-Red réussit 84% des scénarios contre GPT-5.1, contre seulement 13% pour des red-teamers humains. Sur les attaques Fake Chain-of-Thought directes, le taux de succès dépasse 95% contre GPT-5.1 mais tombe sous 10% contre GPT-5.6 Sol, qui n'échoue plus que sur 0,05% des environnements inédits testés.
Cette approche répond à un problème concret: le red-teaming humain prend du temps et ne suit pas le rythme des nouveaux modèles, alors que la surface d'attaque des agents IA ne cesse de grandir. Ces agents lisent désormais des données tierces via des navigateurs, des applications connectées, des fichiers locaux et des outils, des capacités indispensables pour un usage professionnel réel mais qui ouvrent aussi la porte à des instructions malveillantes dissimulées dans ces données. OpenAI garde volontairement GPT-Red à l'écart de ses modèles déployés pour éviter que ses capacités offensives ne tombent entre de mauvaises mains, tout en l'utilisant à double titre: repérer des vulnérabilités avant la mise en production, et générer en continu de nouvelles attaques pendant l'entraînement pour durcir les défenses. Contre GPT-5, sorti en août 2025, plus de 90% des attaques les plus efficaces de GPT-Red fonctionnaient encore; contre GPT-5.6, ce taux tombe sous 23%, signe d'une progression rapide de la robustesse.
Au-delà des benchmarks, OpenAI a aussi testé GPT-Red contre de vrais systèmes agentiques, avec une connaissance volontairement incomplète de leur architecture. Un premier cas concerne Vendy, un distributeur automatique piloté par IA installé dans les bureaux d'OpenAI et développé par la start-up Andon Labs, illustrant la volonté de valider ces défenses en conditions réelles plutôt que sur des benchmarks isolés. Cette démarche s'inscrit dans une tendance plus large de l'industrie vers l'entraînement adversarial automatisé, à mesure que les agents IA gagnent en autonomie et en accès à des outils sensibles.
Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.
