Goodfire : Tom McGrath estime que les chercheurs doivent comprendre comment l'IA prend ses décisions
Tom McGrath, directeur scientifique de Goodfire AI, plaide pour que les chercheurs apprennent à comprendre comment les systèmes d'intelligence artificielle prennent leurs décisions. Il était l'invité du dernier épisode du podcast AI Deep Dive. Jusqu'ici, les développeurs s'appuient souvent sur les « chaînes de pensée », ces textes que les modèles produisent en raisonnant pas à pas face à un problème. Or ces raisonnements deviennent de plus en plus difficiles à lire, ce qui pousse les laboratoires à explorer d'autres pistes. L'une d'elles, l'« interprétabilité mécaniste », cherche à expliquer le fonctionnement interne des modèles plutôt que de se contenter d'observer leur comportement extérieur.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de The Information AI. Lire l'article original →
L'enjeu est concret. Si le texte affiché par un modèle ne reflète plus fidèlement ce qui se passe en lui, il devient plus difficile de vérifier qu'il agit comme prévu et de repérer des comportements indésirables. Il devient aussi plus difficile de justifier sa fiabilité auprès des utilisateurs et des régulateurs. Examiner l'intérieur du modèle offrirait une vérification indépendante de ce qu'il affirme faire. Cela intéresse autant les entreprises qui déploient ces systèmes que les autorités chargées de les superviser.
Ce domaine a pris de l'ampleur ces dernières années. Les principaux laboratoires d'IA ont constitué des équipes dédiées à l'interprétabilité mécaniste, et plusieurs jeunes pousses ont vu le jour, dont Goodfire AI est la plus en vue. Le débat porte désormais sur la capacité de ces méthodes à suivre le rythme de modèles toujours plus grands et complexes. Il porte aussi sur la place qu'elles pourraient occuper dans les pratiques de sécurité et d'évaluation de l'industrie.
Les régulateurs et entreprises européennes qui doivent justifier la fiabilité de leurs systèmes d'IA pourraient s'appuyer sur l'interprétabilité mécaniste comme vérification indépendante.