Le professeur de la productivité maximale : Anjney Midha, AMP

Lors d'un épisode enregistré chez Periodic Labs à San Francisco, Anjney Midha, fondateur d'AMP et ancien architecte de la plateforme développeur de Discord, a livré une analyse décapante de l'efficacité réelle de l'infrastructure IA mondiale. Le constat de départ est frappant : xAI, le laboratoire d'Elon Musk, fonctionnerait à moins de 10 % de MFU (Model FLOPs Utilization), soit moins d'un dixième de la puissance de calcul théorique de ses GPU effectivement convertie en progrès d'entraînement. Pour comparaison, GPT-3 atteignait déjà 21 % de MFU, Gopher 32 %, PaLM 46 %, et les meilleurs systèmes actuels se situent entre 60 et 70 % selon Midha. AMP, la société qu'il dirige, ambitionne de construire un réseau de calcul indépendant capable de délivrer 1,2 GW en charge de base, avec une capacité de pointe visée à 6 GW.

Ce chiffre de sous-utilisation illustre un problème structurel plus profond : acheter davantage de GPU ne garantit pas de meilleurs modèles. L'IA de frontière est avant tout un problème de systèmes, où l'ordonnancement, les réseaux, les noyaux logiciels, les pipelines de données et la fiabilité des clusters déterminent si les FLOPs théoriques se transforment en progrès réel. Midha rappelle qu'à Google, un taux d'utilisation de 95 % était traité comme une panne, tant l'optimisation était culturellement ancrée. Il propose le concept d'"outputmaxxing" comme nouvelle discipline à part entière : maximiser les sorties utiles par flop dépensé, plutôt que d'accumuler aveuglément de la capacité brute. À mesure que les organisations s'appuient sur des couches d'abstraction et des API, elles perdent de la performance à chaque niveau de la pile, sans toujours en mesurer les conséquences sur la qualité des modèles.

Investisseur dans Anthropic, Mistral, Black Forest Labs et Periodic Labs, Midha a observé de près comment un excès de capital trop précoce peut fragiliser un laboratoire plutôt que le renforcer. AMP se positionne comme un opérateur de réseau de calcul indépendant, sur le modèle des gestionnaires de réseau électrique, permettant aux FLOPs de "circuler comme des mégawatts". Cette vision implique des protocoles ouverts, une intégration communautaire autour des centres de données, et des marchés de calcul où la demande interruptible remplace l'achat brut de capacité. Midha évoque également une "défaillance de marché" pointée par des recherches non publiées de DeepMind, et défend l'idée que la prédiction de fin de vie en médecine pourrait devenir l'une des applications les plus importantes de l'IA dans les prochaines années, un sujet qu'il suit depuis quatorze ans.