Le graphique le plus mal compris de l'IA vient d'être mis à jour
L'organisation d'évaluation à but non lucratif METR vient de publier une mise à jour de son célèbre graphique d'« horizon temporel », qui confirme que certaines capacités de l'IA continuent de progresser de façon exponentielle, tout en montrant que les modèles sont moins performants sur les tâches de jugement que sur le code. Le graphique d'origine mesurait les modèles à partir d'une large batterie de tâches déjà réalisées par des humains : chaque tâche était notée selon le temps qu'il fallait à un testeur humain pour la terminer, puis les modèles étaient classés selon la durée des tâches qu'ils parvenaient à accomplir. Il montrait que, tous les quatre mois, la durée des tâches que les modèles de pointe réussissent doublait. La nouvelle version ajoute des tâches que l'on estime beaucoup plus longues pour des humains, ainsi que des tâches plus ouvertes. Dans l'une d'elles, les modèles doivent concevoir de nouvelles évaluations d'IA utilisables par METR, notées ensuite par ses employés : aucune des évaluations produites n'a été jugée assez bonne pour être utile à leurs recherches. Dans une autre, ils doivent noter des arguments philosophiques, et là encore ils restent en deçà des humains, même si les employés de METR ne s'accordent pas sur la pertinence de ce test pour l'automatisation de la recherche en IA.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de MIT Technology Review. Lire l'article original →
L'enjeu est considérable, car la grande question du moment est de savoir si les progrès sur les tâches « vérifiables », dont le succès ou l'échec se contrôle automatiquement, se transfèrent aux tâches où la réussite est plus difficile à mesurer. Les réseaux de neurones apprennent les premières par apprentissage par renforcement : le système tente la tâche de nombreuses fois, les connexions associées aux réussites sont renforcées et celles liées aux échecs affaiblies. C'est ce qui explique les progrès spectaculaires en programmation et en mathématiques. Cette méthode est bien plus difficile à appliquer quand le succès est mal défini ou long à établir, comme pour le choix d'une nouvelle direction de recherche. Or ce type de tâche sera décisif si l'IA doit automatiser la recherche et le développement. Sayash Kapoor, informaticien et futur professeur à UC Berkeley, salue cette démarche : selon lui, les évaluations de l'IA doivent désormais devenir plus créatives. Il n'est pas surpris par les résultats, puisqu'un préprint d'août, cosigné par lui, montrait déjà que les modèles ne savent pas encore reproduire seuls des travaux de recherche en informatique.
Le sujet est d'autant plus sensible qu'un autre rapport de METR, fortement censuré et publié plus tôt ce mois-ci, affirmait que l'IA pourrait doubler le rythme des progrès chez Anthropic, entreprise qui vient de réussir une introduction en bourse retentissante. Ce document a fait craindre une « auto-amélioration récursive » complète, où des systèmes concevraient seuls leurs successeurs sans intervention humaine. De son côté, OpenAI a indiqué dans un billet de blog mercredi que ses modèles réussissent moins bien les tâches réelles confiées par ses employés que les tâches vérifiables de la suite initiale de METR. Les avis divergent toutefois : Kapoor pense que le « goût pour la recherche », soit la capacité de choisir des questions, hypothèses et expériences prometteuses, restera un goulot d'étranglement majeur, tandis que d'autres estiment que des modèles entraînés sur des tâches faciles à vérifier finiront par réussir aussi les tâches ouvertes. Pour l'instant, les progrès sur les tâches vérifiables ne montrent aucun signe de ralentissement.