La recherche controversée sur l'interprétabilité de l'IA qui a attiré l'attention de Sam Altman
Au cours des derniers mois, OpenAI a mené des discussions avec la start-up Goodfire en vue d'une acquisition ou d'un partenariat. Selon les informations révélées ce matin par plusieurs journalistes, le PDG d'OpenAI, Sam Altman, s'est montré particulièrement intéressé par les travaux de Nick Cammarata, ancien chercheur d'OpenAI désormais chez Goodfire. Ce dernier a fait parler de lui récemment en avançant de nouvelles affirmations sur la manière dont les intelligences artificielles « pensent ». Il a publié un essai le mois dernier, puis un rapport complémentaire la semaine dernière, deux textes qui ont provoqué de vives réactions dans la communauté de la recherche en IA.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de The Information AI. Lire l'article original →
Les avis sont en effet très partagés. Certains chercheurs saluent ces travaux comme une percée potentielle dans notre capacité à comprendre les modèles d'IA, tandis que d'autres les écartent comme du simple battage médiatique. Cette polarisation montre que certains pans de la recherche en IA sont encore si peu matures que les scientifiques ne s'accordent même pas sur ce qui constitue un bon travail. Cela n'empêche pas des start-up fondées sur des technologies non éprouvées d'atteindre des valorisations de plusieurs milliards de dollars, ce qui pose la question de la solidité des paris financiers réalisés dans ce domaine.
La spécialité de Goodfire est l'interprétabilité mécaniste, ou « mech interp », une discipline qui cherche à comprendre le fonctionnement interne des modèles plutôt que de se limiter à observer leur comportement extérieur. Les modèles d'IA reposent sur des milliers de milliards de nombres, ce qui en fait des « boîtes noires » : contrairement à un logiciel traditionnel, dont un programmeur peut lire le code ligne par ligne, personne ne peut les déchiffrer directement. Il est donc difficile d'anticiper leur réaction face à des situations inédites et de comprendre l'origine de leurs erreurs. C'est cet enjeu de fiabilité et de maîtrise qui explique l'intérêt d'un acteur comme OpenAI, même si l'issue des discussions avec Goodfire, acquisition ou simple collaboration, reste à ce stade ouverte.