Anthropic accorde à un organisme externe de surveillance de l'IA un accès semblable à celui d'un employé
Anthropic a accordé à des évaluateurs externes un « accès comparable à celui d'un employé » pour mesurer les risques de ses modèles. L'entreprise tient ainsi un engagement pris pour renforcer ses garde-fous, face aux craintes de voir cette technologie échapper à tout contrôle avec des conséquences catastrophiques. METR, une organisation à but non lucratif qui a déjà travaillé avec les principaux laboratoires, dont OpenAI, Anthropic, Google et Meta, a désormais une équipe installée dans les locaux du créateur de Claude. Elle dispose d'un accès à son matériel informatique et à ses systèmes internes.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de Ars Technica AI. Lire l'article original →
Également couvert par ZDNET AI.
Cette ouverture compte parce qu'elle change la nature du contrôle. Une évaluation menée de l'extérieur, sur des modèles accessibles uniquement par interface, ne voit qu'une partie de ce dont un système est capable. Un accès de type salarié permet à des experts indépendants d'examiner les modèles de plus près, sans dépendre uniquement des résultats que le laboratoire choisit de publier. Pour les régulateurs, les entreprises clientes et le public, c'est un signal que les affirmations de sécurité peuvent être vérifiées par un tiers.
Le rôle accru des évaluateurs tiers figure parmi les principales mesures concrètes avancées par les laboratoires en réponse à l'inquiétude grandissante sur les dangers de systèmes d'IA toujours plus puissants. Les risques évoqués touchent l'économie, la cybersécurité et l'humanité dans son ensemble. Reste à savoir si les autres laboratoires accorderont le même niveau d'accès à METR ou à des organisations comparables, et si ce modèle deviendra une norme de l'industrie.
Cet accès accru des évaluateurs tiers peut servir de référence aux régulateurs européens et aux entreprises clientes dans l'UE pour vérifier les affirmations de sécurité des modèles d'IA avancés.