METR peine à évaluer Claude Mythos, Palo Alto Networks alerte sur des cyberattaquants IA autonomes
METR, l'organisation indépendante chargée d'évaluer les capacités des modèles d'IA avancés, reconnaît que sa suite de tests actuelle est incapable de mesurer correctement Claude Mythos Preview, le dernier modèle d'Anthropic. Sur 228 tâches d'évaluation disponibles, seulement cinq couvrent la plage de capacités pertinente pour ce modèle. En parallèle, Palo Alto Networks alerte sur une menace concrète: des modèles frontier sont désormais capables d'enchaîner des vulnérabilités informatiques de manière autonome, comprimant le délai entre une première intrusion et l'exfiltration de données à seulement 25 minutes.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de The Decoder. Lire l'article original →
Ce double constat expose un problème structurel majeur. Si les outils d'évaluation ne progressent pas au même rythme que les modèles eux-mêmes, il devient impossible de mesurer objectivement les risques qu'ils représentent, que ce soit pour des usages offensifs ou défensifs. Une attaque automatisée bouclée en moins d'une demi-heure laisse une fenêtre de réaction quasi nulle aux équipes de sécurité, ce qui change radicalement l'équation du risque pour les entreprises et les infrastructures critiques.
Les benchmarks traditionnels sont critiqués depuis des années pour leur incapacité à suivre les progrès des grands modèles de langage, mais la situation décrite par METR illustre un glissement plus profond: les modèles dépassent désormais les frontières mêmes de ce que les évaluateurs savent tester. Alors que la gouvernance de l'IA fait l'objet de débats intenses dans les cercles réglementaires, l'absence d'outils de mesure fiables fragilise toute politique de sécurité. C'est peut-être le vrai angle mort du moment.
L'absence d'outils d'évaluation fiables pour les modèles frontier fragilise le cadre de l'AI Act, tandis que les entreprises et infrastructures critiques européennes sont exposées à des cyberattaques autonomes capables d'exfiltrer des données en moins de 25 minutes.
25 minutes entre l'intrusion et l'exfiltration, c'est le genre de chiffre qui rend les débats sur l'AI Act un peu abstraits. Et pendant ce temps, METR avoue eux-mêmes que sur 228 tâches d'évaluation, cinq seulement couvrent ce que Claude Mythos sait vraiment faire. Si on peut plus mesurer les capacités des modèles, on navigue à l'aveugle sur les risques, et c'est ça le vrai problème.