OpenAI rend beaucoup plus difficile l'extraction du raisonnement de ses derniers modèles d'IA par des attaquants
OpenAI a nettement renforcé ses protections contre l'extraction du raisonnement interne de ses modèles GPT-6.2 Astra et GPT-6.2 Sol. Selon des tests automatisés internes, le taux de réussite des attaques visant à récupérer le raisonnement protégé issu de requêtes passées est tombé de 54,0 % sur GPT-6 Astra à 0,2 % sur GPT-6.2 Astra. Pour les attaques ciblant des requêtes en cours, il est passé de 22,9 % à 0,9 %. L'entreprise indique qu'elle déploie désormais une partie de ces améliorations sur GPT-6 Astra également. Les mesures reposent sur deux niveaux : pour les requêtes individuelles, un entraînement ciblé, des filtres d'entrée et de sortie portant sur les messages et les appels d'outils, ainsi que des blocages au niveau de l'API empêchant les anciens modèles de lire le raisonnement protégé ; contre les campagnes coordonnées, OpenAI bannit chaque semaine de plusieurs milliers à plusieurs dizaines de milliers de comptes.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de The Decoder. Lire l'article original →
Ces chiffres, mesurés lors de tests de « red teaming » adaptatif en boîte noire agrégés sur six modèles attaquants, montrent que la protection des chaînes de raisonnement devient un enjeu de sécurité à part entière. Pour les laboratoires d'IA, le raisonnement interne d'un modèle représente un actif stratégique : il révèle comment le système résout des problèmes complexes et peut servir de matière première pour entraîner un concurrent. Un taux d'attaque réussie proche de zéro réduit sensiblement le risque que des tiers copient ces capacités à moindre coût. Pour les développeurs et les entreprises clientes, cela signifie aussi un accès plus restreint à ces traces de raisonnement, ce qui peut limiter la transparence sur le fonctionnement des modèles.
Ce durcissement s'inscrit dans une bataille plus large contre la distillation, cette technique qui consiste à entraîner un modèle à partir des réponses d'un autre. Anthropic mène un combat comparable : l'entreprise bannit elle aussi des dizaines de milliers de comptes pour freiner le vol de raisonnement interne et revendiquerait un taux de succès de 90 à 99 % dans ces opérations. Elle a par ailleurs appelé l'industrie et les décideurs politiques à une réponse coordonnée. Le fait que deux des principaux acteurs du secteur investissent autant dans la détection et le blocage laisse penser que la course se jouera autant sur la protection de la propriété intellectuelle que sur la performance brute, avec un jeu du chat et de la souris appelé à se poursuivre à mesure que les attaquants adaptent leurs méthodes.