Le Fil Factory dans les coulisses : Eiso Kant, Poolside AI
Poolside AI, la start-up cofondée par Eiso Kant, vient de dévoiler son nouveau modèle Laguna S 2.1, qui surpasse le récent modèle de Thinking Machines alors qu'il est près de dix fois plus petit. Laguna S compte 118 milliards de paramètres au total, dont 8 milliards actifs, et a été développé grâce au Model Factory de Poolside, un système capable de faire passer un modèle du pré-entraînement au lancement en seulement huit semaines. Moins de 70 chercheurs y font tourner entre 10 000 et 20 000 expériences par mois. Eiso Kant a démarré cette aventure en 2015, inspiré par les travaux d'Andrej Karpathy sur les réseaux de neurones récurrents, en misant sur l'idée que le code est la voie vers l'AGI. Il a dépensé 12 millions de dollars sur quatre ans avant que le marché ne s'intéresse au sujet, et la sortie de ChatGPT a représenté pour lui une véritable vindication, poussant Poolside à revenir vers les poids ouverts et la recherche ouverte. L'entreprise a depuis levé 500 millions de dollars.
Résumé et traduction réalisés par Le Fil IA à partir de Latent Space. Lire l'article original →
Cette annonce intervient alors que le débat entre IA ouverte et fermée, et entre souveraineté américaine et chinoise sur les modèles, atteint un point critique. Eiso Kant défend une position singulière: il préférerait un marché avec 100 entreprises de modèles fondamentaux plutôt qu'un oligopole de cinq acteurs, même si Poolside comptait parmi ces cinq. Il distingue aussi clairement le fait de publier des poids ouverts de celui de publier une recherche réellement ouverte, une nuance qui compte pour l'industrie et les développeurs cherchant à comprendre comment ces modèles sont réellement construits, et pas seulement à les utiliser.
Le Model Factory repose sur des données diffusées en flux continu directement dans l'entraînement, des expériences reproductibles grâce à des données immuables et du code versionné, ainsi qu'un calcul en basse précision. Des agents interviennent de plus en plus pour écrire du code, lancer des tâches, évaluer les résultats et modifier les pipelines d'entraînement des futurs modèles. Eiso Kant estime que la persistance, la vérification et le retour en arrière comptent parfois plus que l'intelligence brute, que l'apprentissage par renforcement va migrer plus tôt dans le pré-entraînement, et que le prédiction du prochain mot exploite encore trop peu les connaissances du web. Il critique par ailleurs certains protocoles d'agents comme MCP, qu'il juge mal conçus, et évoque l'influence de NVIDIA et TSMC sur l'économie réelle de l'entraînement des modèles frontières.
Pas d'impact direct sur la France/UE