Ce qu'a vu Jacob Coxon, le lanceur d'alerte d'Anthropic
Jacob Coxon, ancien chercheur d'Anthropic parti après plusieurs années passées chez OpenAI avant de rejoindre l'entreprise en mai, a démissionné publiquement en expliquant que l'intelligence artificielle "pourrait tous nous tuer". Chez Anthropic, il travaillait sur les toutes premières étapes de l'entraînement des modèles. Dans un entretien accordé mercredi, il a précisé qu'un autre spécialiste de la sécurité de l'IA chez Anthropic évalue à plus de 10% la probabilité d'une catastrophe liée à cette technologie, un chiffre qu'il juge loin d'être le plus pessimiste en interne : certains employés avanceraient des estimations dépassant 50%, sauf ralentissement collectif substantiel du développement de l'IA. Coxon dit avoir pu mesurer ces craintes grâce à une culture interne qu'il décrit comme nettement plus transparente chez Anthropic que chez OpenAI. Il explique son départ par une peur de plus en plus viscérale face à la trajectoire de la technologie sur l'année, voire les deux années à venir.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de The Information AI. Lire l'article original →
Cette prise de position publique a provoqué une onde de choc dans l'industrie de l'IA et au delà, car elle vient de l'intérieur même d'une entreprise qui se positionne comme pionnière de la sécurité et de l'alignement des modèles. Que des chercheurs directement impliqués dans l'entraînement des systèmes les plus avancés expriment de telles estimations de risque interroge la confiance du public et des régulateurs envers les discours rassurants des laboratoires d'IA, et pourrait alimenter les appels à un encadrement plus strict du secteur.
Le témoignage de Coxon s'inscrit dans un débat plus large sur le "p(doom)", cette estimation subjective de la probabilité qu'une IA avancée cause une catastrophe existentielle, débat qui traverse depuis plusieurs années les équipes de recherche en sécurité de l'IA. La transparence interne revendiquée par Anthropic, comparée à celle d'OpenAI où Coxon a longtemps travaillé, relance aussi la question de savoir dans quelle mesure les employés des grands laboratoires partagent réellement, en privé, les inquiétudes qu'ils expriment publiquement une fois partis.
Ce témoignage pourrait alimenter les débats réglementaires en cours dans l'UE sur l'encadrement des risques liés aux modèles d'IA avancés.
Un chercheur qui bosse sur l'entraînement des modèles les plus avancés démissionne en public en disant que ça pourrait tous nous tuer, et le chiffre qui compte c'est pas le sien : c'est que des collègues internes chez Anthropic parlent de plus de 50% de risque de catastrophe si rien ne ralentit. Ça, c'est plus fort que n'importe quelle tribune externe. Reste que ce genre de témoignage reste invérifiable de l'extérieur, mais quand la fuite vient de l'entreprise qui se vend comme la plus prudente du secteur, ça dit surtout que le discours rassurant des labos et l'ambiance en interne, ce sont deux choses différentes.