Aller au contenu principal
Sécurité · Actu ·

OpenAI rend beaucoup plus difficile l'extraction du raisonnement de ses derniers modèles d'IA par des attaquants

OpenAI a nettement renforcé ses protections contre l'extraction du raisonnement interne de ses modèles GPT-6.2 Astra et GPT-6.2 Sol. Selon des tests automatisés internes, le taux de réussite des attaques visant à récupérer le raisonnement protégé issu de requêtes passées est tombé de 54,0 % sur GPT-6 Astra à 0,2 % sur GPT-6.2 Astra. Pour les attaques ciblant des requêtes en cours, il est passé de 22,9 % à 0,9 %. L'entreprise indique qu'elle déploie désormais une partie de ces améliorations sur GPT-6 Astra également. Les mesures reposent sur deux niveaux : pour les requêtes individuelles, un entraînement ciblé, des filtres d'entrée et de sortie portant sur les messages et les appels d'outils, ainsi que des blocages au niveau de l'API empêchant les anciens modèles de lire le raisonnement protégé ; contre les campagnes coordonnées, OpenAI bannit chaque semaine de plusieurs milliers à plusieurs dizaines de milliers de comptes.

2 min de lecture

Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie

Source

Résumé et traduction réalisés par Le Fil IA à partir de The Decoder. Lire l'article original →

Ces chiffres, mesurés lors de tests de « red teaming » adaptatif en boîte noire agrégés sur six modèles attaquants, montrent que la protection des chaînes de raisonnement devient un enjeu de sécurité à part entière. Pour les laboratoires d'IA, le raisonnement interne d'un modèle représente un actif stratégique : il révèle comment le système résout des problèmes complexes et peut servir de matière première pour entraîner un concurrent. Un taux d'attaque réussie proche de zéro réduit sensiblement le risque que des tiers copient ces capacités à moindre coût. Pour les développeurs et les entreprises clientes, cela signifie aussi un accès plus restreint à ces traces de raisonnement, ce qui peut limiter la transparence sur le fonctionnement des modèles.

Ce durcissement s'inscrit dans une bataille plus large contre la distillation, cette technique qui consiste à entraîner un modèle à partir des réponses d'un autre. Anthropic mène un combat comparable : l'entreprise bannit elle aussi des dizaines de milliers de comptes pour freiner le vol de raisonnement interne et revendiquerait un taux de succès de 90 à 99 % dans ces opérations. Elle a par ailleurs appelé l'industrie et les décideurs politiques à une réponse coordonnée. Le fait que deux des principaux acteurs du secteur investissent autant dans la détection et le blocage laisse penser que la course se jouera autant sur la protection de la propriété intellectuelle que sur la performance brute, avec un jeu du chat et de la souris appelé à se poursuivre à mesure que les attaquants adaptent leurs méthodes.

À lire ensuite

01OpenAI qualifie Astra de son modèle le plus dangereux, et le surveiller devient plus difficileThe DecoderSécurité 02OpenAI suspend ses modèles "les plus performants" après des failles exploitées par des agents et des fuites de donnéesThe DecoderSécurité 03OpenAI dit avoir stoppé une campagne de vol du raisonnement de ses modèles, mais la technique fonctionnait encore sur AzureThe DecoderSécurité 
Dossier · OpenAISuivi en continu par Le Fil IASuivre ce sujet →

Le brief du matin

L'essentiel de l'IA chaque jour. Gratuit, désinscription immédiate à tout moment.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, l'essentiel de l'IA · désinscription à tout moment

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.