Pourquoi un informaticien pense que la superintelligence n'arrivera pas
L'été dernier, de nombreux observateurs ont été pris de court en voyant des employés de l'un des principaux laboratoires d'IA débattre ouvertement du risque d'extinction humaine. Tout est parti de la démission du chercheur d'Anthropic Jacob Coxon, qui a averti que son employeur et OpenAI « fonçaient vers une superintelligence capable de s'améliorer seule et jouaient avec nos vies ». Evan Hubinger, responsable de la science de l'alignement chez Anthropic, a répondu que l'entreprise croyait sincèrement que l'IA pouvait tuer tous les humains, et le PDG Dario Amodei a déclaré à CNN être d'accord avec Coxon bien plus qu'il ne le contredisait. Ces craintes reposent sur l'idée d'une amélioration récursive : dès qu'un système saurait se perfectionner lui-même, il déclencherait un cycle accéléré de mises à niveau autonomes menant à la superintelligence artificielle (ASI), bien plus ambitieuse que l'IA générale (AGI), qui désigne une IA égalant l'humain sur un large éventail de tâches cognitives. Dans un article, un informaticien qui a enseigné un séminaire doctoral à l'université de Georgetown, à Washington, expose pourquoi il doute de la faisabilité technique de l'ASI, tout en redoutant que sa poursuite cause de vrais dégâts même si l'explosion d'intelligence n'arrive jamais.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de IEEE Spectrum AI. Lire l'article original →
Cette question d'ingénierie, rarement posée, est pourtant décisive : savoir si la superintelligence est réellement possible permet de calibrer les inquiétudes et de concevoir les réponses les plus adaptées. Le débat actuel se disperse entre ceux qui y voient un argument marketing ou un moyen pour les acteurs établis de faire adopter des régulations qui écarteraient de nouveaux concurrents, ceux qui discutent la plausibilité de scénarios précis comme des supervirus conçus par IA, et ceux qui jugent l'alignement faisable et appellent à accélérer. Or l'idée n'est plus purement théorique. En juin, Anthropic a publié « When AI Builds Itself », expliquant que ses agents fondés sur des LLM accélèrent l'écriture, le débogage et l'optimisation du code, et automatisent une partie de la recherche, ses données internes montrant que l'IA accélère déjà le développement de l'IA. OpenAI a annoncé en septembre l'objectif d'un chercheur automatisé d'ici mars 2028. Les enjeux sont donc concrets, tant pour les politiques publiques que pour la manière dont les entreprises présentent leurs ambitions.
L'idée remonte à 1965, quand le statisticien I.J. Good évoquait une « explosion d'intelligence ». Elle a gagné du terrain dans les années 1990 chez les Extropiens, un groupe futuriste de la Baie de San Francisco, avant d'être reprise par Eliezer Yudkowsky, futur fondateur du mouvement rationaliste, et Nick Bostrom, qui a contribué à orienter l'altruisme efficace vers les risques existentiels. Le premier obstacle à une amélioration récursive incontrôlable tient aux données et aux méthodes d'entraînement. Jusqu'en 2023, les progrès venaient de la taille des modèles : de 117 millions de paramètres pour GPT-1 à 1,5 milliard pour GPT-2, 175 milliards pour GPT-3, puis probablement plus d'un billion pour GPT-4, sorti il y a trois ans. Après GPT-4, l'augmentation d'échelle a donné des rendements décroissants, et les ingénieurs se sont tournés vers le post-entraînement, où l'apprentissage par renforcement récompense les réponses réussies d'un modèle déjà entraîné pour mieux reproduire de telles réponses.