Import AI 481 : des IA sous-traitantes, un laboratoire humide pour l'IA et des manœuvres cachées pendant le développement
Des chercheurs ont publié FrontierML, un benchmark qui mesure la capacité des agents d'IA à convertir de l'argent en performance de modèle sur des tâches d'apprentissage automatique complexes, de bout en bout. Il compte 21 tâches de longue durée, inspirées du travail réel des laboratoires de pointe, des « neolabs » et des institutions académiques, réparties en six catégories : entraînement de LLM, efficacité, vision et audio, usage d'ordinateur, NLP appliqué, mathématiques et jeux. Chaque agent dispose du même cadre : un bac à sable CPU de 12 heures, un portefeuille de 10, 50 ou 200 dollars, quelques échantillons de validation et une description de la tâche. Il choisit ses architectures, trouve ses données, met en place l'entraînement, loue du calcul, évalue ses checkpoints et optimise l'inférence. Dans 28 % des trajectoires, les agents ajoutent des composants nouvellement entraînés à des modèles préentraînés ou entraînent un modèle from scratch. Le modèle est soumis sous forme de serveur d'inférence sur une machine H100 isolée du réseau, évalué sur un large jeu de test hors distribution que l'agent ne voit pas. Un chercheur humain, pris comme référence, gagne 56 points avec 10 dollars et 66,1 points avec 200 dollars. Le meilleur système, Opus 5.5, gagne 45,4 points avec 10 dollars et 58,8 avec 200 dollars. Le meilleur modèle à poids ouverts, Kimi K3.1 Pro, atteint 25,5 et 29,6 points.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de Import AI. Lire l'article original →
L'enjeu dépasse le classement. Les auteurs constatent que les agents les plus performants améliorent de façon fiable leurs résultats quand leur budget augmente, ce qui signifie qu'ils savent dépenser utilement. Les approches varient d'une tâche à l'autre : pour une tâche de génération de captures d'écran, le meilleur agent a affiné un modèle de diffusion avec LoRA, tandis que d'autres ont fait écrire à un LLM un programme de dessin ensuite rendu à l'écran. Cette capacité à externaliser une partie du travail, comme le font les humains en s'appuyant sur des spécialistes, éclaire les progrès des systèmes d'IA dans la recherche et le développement en IA. Elle laisse aussi entrevoir une économie de machines où des systèmes sous-traiteraient des tâches à d'autres systèmes.
Dans le même esprit, la startup Petrichor, issue de Y Combinator, se présente comme un laboratoire de biologie humide « conçu pour les laboratoires d'IA et pour les modèles qu'ils entraînent à faire de la science ». Son idée est de permettre à des systèmes comme Claude d'utiliser un laboratoire physique comme un outil, au même titre que la recherche web, via une API destinée aux machines. Une expérience pourrait être décrite par un modèle en langage naturel ou dans un format structuré, puis les résultats seraient renvoyés sans intermédiaire humain. L'entreprise promet « la donnée de la plus haute qualité qu'une expérience puisse produire, aussi vite que la biologie le permet ». L'auteur de la newsletter Import AI y voit un signe de l'accélération scientifique attribuée à l'IA, et un équivalent pour la science des usines « lights out », entièrement gérées par des machines. Reste à savoir quelles seront les implications de laboratoires scientifiques pilotés sans présence humaine.