Les tests Mythos AI du gouvernement britannique distinguent les vraies menaces cyber du battage médiatique
Le gouvernement britannique, via son AI Security Institute (AISI), a publié une évaluation indépendante du modèle Mythos Preview d'Anthropic, centré sur ses capacités en matière de cybersécurité offensive. Cette publication fait suite à l'annonce d'Anthropic la semaine précédente de restreindre l'accès initial à ce modèle à "un groupe limité de partenaires industriels critiques", le temps de préparer sa sortie publique. L'entreprise avait elle-même qualifié Mythos de modèle "remarquablement capable dans les tâches liées à la sécurité informatique". L'AISI confirme que le modèle dépasse les 85 % de réussite sur les défis Capture the Flag de niveau "Apprenti", une série d'épreuves de cybersécurité progressives utilisées depuis début 2023 pour évaluer les modèles d'IA.
Résumé et traduction réalisés par Le Fil IA à partir de Ars Technica AI. Lire l'article original →
Sur les tâches individuelles de cybersécurité, Mythos ne se distingue pas fondamentalement des autres modèles frontières récents. Ce qui le différencie en revanche, c'est sa capacité à enchaîner ces tâches en séquences cohérentes et multi-étapes, ce type d'attaque coordonnée étant précisément ce qui permet d'infiltrer complètement un système réel. Cette nuance est cruciale : un modèle capable de relier reconnaissance, exploitation et persistance au sein d'une même session représente un saut qualitatif pour les attaquants potentiels, mais aussi pour les équipes défensives qui cherchent à automatiser les tests de pénétration.
L'AISI mène ces évaluations sur Capture the Flag depuis début 2023, à une époque où GPT-3.5 Turbo peinait à résoudre les tâches de niveau débutant. La progression a été régulière depuis, et Mythos marque une nouvelle étape dans cette courbe. La décision d'Anthropic de limiter l'accès initial témoigne d'une stratégie de déploiement prudente face aux risques de mésusage dans un domaine aussi sensible. La publication des résultats par une institution gouvernementale indépendante apporte une crédibilité publique à ces avertissements, au-delà du discours commercial habituel des laboratoires d'IA.
Les évaluations indépendantes de l'AISI britannique sur les capacités cyber offensives des LLMs pourraient servir de modèle aux régulateurs européens pour les audits de sécurité imposés par l'AI Act.