Simulation : 10 % moins précise, 100 fois moins chère et 10 000 fois plus rapide, pourquoi elle s'impose
Depuis 2022, chaque année a vu un nouveau maillon de la fabrication de l'intelligence artificielle basculer du travail humain vers la production par des modèles eux-mêmes, selon une analyse publiée par la newsletter AI News de Latent Space, en lien avec sa couverture de Z.ai GLM, du pivot de Poolside et de son podcast Simile. Le mouvement s'est fait par étapes datées et identifiables. En 2022, c'est le signal de récompense qui devient synthétique : InstructGPT généralise l'entraînement d'un modèle de récompense à partir de préférences humaines, puis Constitutional AI introduit l'auto-critique du modèle (RLAIF), avant que le benchmark LLM-as-judge (MT-Bench, AlpacaEval) ne généralise l'évaluation par des modèles eux-mêmes. En 2023, les données d'entraînement suivent : la série Phi de Microsoft ("Textbooks Are All You Need") et son modèle phi-1.5 montrent qu'un petit modèle entraîné sur des données synthétiques de qualité surpasse des modèles bien plus gros, tandis que WRAP d'Apple triple l'efficacité du pré-entraînement en reformulant le web via un LLM, et que Nemotron-4 340B de NVIDIA industrialise le procédé. La même année, l'enseignant devient artificiel : Alpaca de Stanford clone un modèle frontière pour 600 dollars à partir d'instructions générées par GPT, suivi de Vicuna et Orca, une logique que DeepSeek-R1 généralisera en 2025 avec ses modèles distillés. En 2024, la boucle se referme avec le curriculum : Self-Rewarding Language Models de Meta et SPIN permettent à un modèle de générer ses propres tâches et de juger ses propres réponses, dépassant le plafond fixé par les données de préférence humaines.
Résumé et traduction réalisés par Le Fil IA à partir de Latent Space. Lire l'article original →
Cette progression change la nature même du travail d'entraînement des IA : chaque étape rendue synthétique coûte, selon l'article, environ 100 fois moins cher et va jusqu'à 10 000 fois plus vite qu'une version produite par des humains, pour une perte de qualité estimée à seulement 10 %. Pour les laboratoires comme OpenAI, Meta, DeepSeek, NVIDIA ou Apple, cela signifie une baisse drastique du coût marginal de chaque nouvelle génération de modèles, et une dépendance croissante envers des systèmes qui s'évaluent et se forment eux-mêmes plutôt qu'envers l'annotation humaine.
L'article situe cette dynamique dans la continuité d'outils déjà connus comme Copilot ou les agents SWE, et annonce une cinquième étape pour 2026 : celle du chercheur, où l'IA ne se contenterait plus de générer des données ou un curriculum, mais prendrait en charge une part du travail de recherche lui-même, prolongeant une trajectoire où l'humain recule progressivement de chaque étage du pipeline d'entraînement.
Pas d'impact direct sur la France/UE