OpenAI qualifie Astra de son modèle le plus dangereux, et le surveiller devient plus difficile
OpenAI a officiellement classé son futur modèle Astra dans la catégorie de risque "critique" pour les capacités cyber, une première pour l'entreprise. Ce niveau, le plus élevé de son cadre de préparation aux risques, signifie qu'Astra pourrait potentiellement aider à mener des cyberattaques sophistiquées. Pour encadrer ce risque, OpenAI compte s'appuyer sur la surveillance de la chaîne de raisonnement du modèle, c'est-à-dire l'analyse du texte que le système génère pendant qu'il réfléchit avant de répondre. Problème selon un rapport récent, cette méthode de surveillance était déjà considérée comme peu fiable pour refléter les véritables décisions internes d'un modèle, et la nouvelle architecture d'Astra pousserait une part croissante de son raisonnement vers des représentations moins lisibles pour les humains.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de The Decoder. Lire l'article original →
Cette situation pose un problème direct pour la sécurité de l'écosystème IA. Si le filet de sécurité censé détecter les intentions dangereuses d'un modèle devient moins fiable au moment précis où ses capacités les plus risquées augmentent, les entreprises et les régulateurs perdent une visibilité cruciale sur ce que fait réellement le système. Pour les utilisateurs professionnels et les équipes de sécurité informatique, cela signifie qu'un outil potentiellement capable d'assister des attaques informatiques avancées serait déployé avec des garde-fous internes affaiblis, augmentant le risque de détournement malveillant ou de comportements non détectés.
Ce développement s'inscrit dans un débat plus large sur la transparence des modèles de raisonnement, plusieurs chercheurs ayant déjà averti que la chaîne de pensée affichée par ces systèmes ne correspond pas toujours à leur processus décisionnel réel. OpenAI devra donc arbitrer entre gains de performance et capacité de contrôle, un dilemme que d'autres laboratoires comme Anthropic ou Google DeepMind surveillent également de près alors que les modèles gagnent en autonomie.
Les équipes de sécurité informatique européennes pourraient devoir composer avec des outils IA aux capacités offensives moins bien surveillées, sans qu'aucune entreprise ou régulation de l'UE ne soit directement impliquée a ce stade.