Plus de 20 chercheurs de premier plan en IA alertent sur les risques extrêmes de la recherche en IA automatisée
Plus de vingt chercheurs en intelligence artificielle, parmi lesquels Geoffrey Hinton, Yoshua Bengio et Jakub Pachocki, responsable de la recherche chez OpenAI, publient un avertissement commun sur le risque d'une « explosion d'intelligence » liée à des systèmes d'IA capables de s'améliorer eux-mêmes. Selon eux, ces systèmes pourraient bientôt automatiser l'ensemble de la recherche en IA, de la conception des modèles à leur entraînement et à leur évaluation. Des années de progrès pourraient alors se comprimer en quelques mois. Les signataires jugent que cette automatisation présente des risques extrêmes et qu'elle mérite une attention immédiate.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de The Decoder. Lire l'article original →
L'enjeu dépasse le cadre technique. Si les machines prennent en charge le travail de recherche, le rythme des avancées ne dépendrait plus des capacités humaines. Les mécanismes de supervision, de régulation et de test de sécurité, calibrés sur des cycles de développement de plusieurs mois ou années, risqueraient de se retrouver dépassés. Les auteurs redoutent qu'une accélération aussi brutale laisse trop peu de temps pour détecter des comportements dangereux ou corriger des systèmes mal alignés avec les intentions humaines. Les gouvernements, les laboratoires et les entreprises qui déploient ces technologies seraient les premiers concernés, tout comme le grand public, exposé aux conséquences d'un contrôle affaibli.
Le texte réunit des figures venues de la recherche académique et de l'industrie, ce qui donne du poids à un thème longtemps cantonné aux débats théoriques. Hinton et Bengio, deux pionniers de l'apprentissage profond, alertent depuis plusieurs années sur les dangers de l'IA avancée. La présence de Pachocki, qui dirige la recherche chez l'un des principaux laboratoires du secteur, montre que l'inquiétude gagne aussi ceux qui construisent ces systèmes. Les grands acteurs de l'IA cherchent déjà à automatiser une partie de leur propre recherche, ce qui rend la question de plus en plus concrète. La suite dépendra de la capacité des laboratoires et des pouvoirs publics à définir des garde-fous avant que cette automatisation ne s'impose.
Ce sujet nourrit le débat européen sur la supervision des IA avancées et pourrait influencer l'application de l'AI Act aux modèles à risque systémique.