L'évaluation des modèles devient encore plus difficile
Ce succès pourrait sembler technique, mais il touche au cœur même de la course à l'intelligence artificielle : comment savoir si un modèle est réellement performant. Lors de la conférence ICML, qui s'est tenue la semaine dernière, plusieurs chercheurs ont souligné une difficulté grandissante. À mesure que les modèles progressent, ils saturent rapidement les référentiels d'évaluation existants, obligeant la communauté scientifique à concevoir sans cesse de nouveaux tests plus exigeants. Mais un problème plus insidieux se profile : certains modèles sont désormais capables de travailler sur une tâche pendant des heures, voire des jours entiers. Noam Brown, chercheur chez OpenAI, a averti lors d'un panel à l'ICML que l'on s'approche rapidement d'un point où les modèles pourront fonctionner "pendant des semaines, voire indéfiniment".
Résumé et traduction réalisés par Le Fil IA à partir de The Information AI. Lire l'article original →
Cette évolution pose un problème pratique majeur : si un modèle met des jours à accomplir une tâche, évaluer sa performance prend tout autant de temps. Brown a précisé que le processus de vérification pourrait bientôt durer plus longtemps que l'entraînement du modèle lui-même. Pour des applications comme la découverte de médicaments, un modèle pourrait passer des semaines à mener des expériences et à analyser les résultats obtenus, un scénario où cette autonomie prolongée devient un atout plutôt qu'un obstacle. Mais du point de vue de la recherche, cela complique considérablement le travail des équipes chargées de mesurer les progrès réels de l'IA.
Ce constat s'inscrit dans un débat plus large sur la manière de mesurer le progrès en intelligence artificielle à l'heure où les capacités des modèles dépassent les outils censés les évaluer. Les benchmarks traditionnels, conçus pour des tâches courtes et ponctuelles, deviennent obsolètes face à des systèmes capables d'autonomie prolongée sur des missions complexes. Ce décalage risque de ralentir le rythme du développement des modèles, puisque les équipes de recherche devront attendre plus longtemps avant de pouvoir juger si une nouvelle version constitue réellement une amélioration. La question qui se pose désormais est de savoir comment concevoir des méthodes d'évaluation adaptées à des IA de plus en plus autonomes, sans pour autant freiner l'innovation.
Pas d'impact direct sur la France/UE
Les benchmarks classiques mesuraient des minutes de raisonnement, pas des semaines d'autonomie, et c'est tout le système d'évaluation qui craque. Ce que dit Noam Brown est limpide : bientôt, vérifier un modèle prendra plus de temps que l'entraîner. Et ça change la donne différemment selon le métier : un atout pour la découverte de médicaments qui a le temps devant elle, un vrai casse-tête pour les labos qui veulent itérer vite sur leurs versions.