Un chercheur d'Anthropic démissionne et avertit : une IA capable de s'améliorer seule pourrait "tous nous tuer
Jacob Coxon, chercheur chez Anthropic spécialisé dans la sécurité de l'intelligence artificielle, a annoncé son départ de l'entreprise mardi soir dans un fil de messages publié sur les réseaux sociaux, assorti d'un avertissement inhabituel. Selon lui, les laboratoires d'IA de pointe "jouent avec nos vies" en développant des systèmes dont ils pensent sincèrement, en interne, qu'ils "pourraient tous nous tuer d'ici la fin de la décennie". Coxon précise que le danger ne vient pas tant des modèles actuels que de la perspective d'une "superintelligence auto-améliorante", capable de "pirater n'importe quel système, révolutionner n'importe quel domaine du jour au lendemain et acquérir un pouvoir et des ressources réels". Fait notable, ces propos n'ont pas été balayés par sa hiérarchie: Evan Hubinger, responsable de la recherche en alignement chez Anthropic, a confirmé publiquement que "Jacob a raison, nous croyons sincèrement que l'IA pourrait tuer tous les humains", estimant lui-même cette probabilité à plus de 10% dans les dix prochaines années.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de Ars Technica AI. Lire l'article original →
Également couvert par TechCrunch AI.
Ce témoignage pèse lourd parce qu'il ne provient pas d'un critique extérieur mais d'un chercheur qui travaillait au cœur même du développement de ces systèmes, dans l'un des laboratoires les plus avancés du secteur. Que des employés d'Anthropic reconnaissent publiquement un risque existentiel non négligeable, tout en continuant pour certains à développer ces technologies, expose une tension centrale de l'industrie: la course à la superintelligence est perçue par plusieurs acteurs comme trop dangereuse pour être arrêtée, mais aussi trop dangereuse pour être laissée à des concurrents jugés moins prudents.
Ce dilemme, que Coxon résume par la logique du "speedrun" consistant à foncer vers la superintelligence avant qu'un acteur irresponsable n'y parvienne en premier, alimente depuis plusieurs années les débats sur la sécurité de l'IA, marqués par des départs similaires chez OpenAI et ailleurs. Il relance la question de savoir si l'autorégulation des laboratoires suffit, alors que les investissements et la pression concurrentielle continuent de s'intensifier sans cadre réglementaire international contraignant.
Pas d'impact direct sur la France/UE
Quand le responsable de l'alignement chez Anthropic confirme lui-même le chiffre de plus de 10% de risque existentiel, on sort de la posture militante, c'est un aveu interne. Le vrai sujet, c'est la logique du speedrun : aucun labo ne croit que s'arrêter soit une option, chacun redoute juste qu'un concurrent moins prudent y arrive avant lui. Ça montre les limites de l'autorégulation : elle tient tant que la course reste ouverte à plusieurs, pas au-delà.