De nouvelles licornes dans l'infrastructure IA : Exa, Modal, TurboPuffer

Des tokens moins chers, des factures plus élevées : la nouvelle économie de l'infrastructure IA

Le coût d'une inférence IA a chuté d'environ un facteur dix en deux ans, porté par des gains d'efficacité sur les modèles et la concurrence acharnée entre fournisseurs cloud. Pourtant, les factures d'infrastructure des entreprises ne baissent pas : elles augmentent. C'est le paradoxe que décrit Anindo Sengupta, vice-président produits chez Nutanix : si le coût par token diminue d'un ordre de grandeur, la consommation, elle, a bondi de plus de 100 fois sur la même période. Résultat, les équipes IT se retrouvent à gérer des volumes d'inférence que rien ne laissait prévoir il y a deux ans, et des budgets GPU qui s'envolent malgré des prix unitaires en chute libre. Ce que les économistes appellent le paradoxe de Jevons se matérialise ici très concrètement : une ressource moins chère incite à en consommer davantage, jusqu'à dépasser les économies réalisées. L'essor de l'IA agentique amplifie le phénomène. Chaque assistant IA déployé en entreprise, chaque workflow automatisé, chaque pipeline d'agents génère en continu des milliers de requêtes d'inférence courtes et imprévisibles, très éloignées des gros jobs de training planifiés à l'avance. Ces flux bombardent les GPU, saturent les interconnexions réseau et sollicitent des systèmes de stockage conçus pour des charges stables. Le coût par token et le taux d'utilisation GPU deviennent ainsi des métriques opérationnelles de premier plan, au même titre que la disponibilité ou le débit. Les optimiser reste complexe : les variables sont trop nombreuses pour être gérées intuitivement, modèles, localisation des workloads, structure des prompts. Cette rupture expose les limites structurelles des datacenters traditionnels, pensés pour des charges prévisibles et des cycles d'approvisionnement longs. L'infrastructure agentique exige une topologie GPU spécifique, des interconnexions haute vitesse, un stockage parallèle pour les caches KV et la mémoire des agents. Quand GPU, réseau et stockage sont gérés en silos distincts, les inefficacités s'accumulent : les assets GPU coûteux se retrouvent sous-utilisés pendant que le réseau ou le stockage constituent les goulets d'étranglement. Face à cette réalité, les grands acteurs de l'infrastructure, Nutanix en tête, poussent vers des plateformes full-stack intégrées et validées de bout en bout, capables d'optimiser simultanément le calcul, le réseau et le stockage pour les workloads IA en production. L'enjeu n'est plus simplement de déployer de l'IA, mais de la faire tourner à l'échelle sans que les coûts d'infrastructure ne neutralisent les gains de productivité.

L'infrastructure IA doit évoluer pour l'expérience des agents (Akshat Bubna, CTO de Modal)

Modal, la plateforme cloud spécialisée dans l'infrastructure pour l'intelligence artificielle, vient de boucler une levée de série C de 355 millions de dollars, un signal fort de la traction prise par l'entreprise depuis sa série A de seulement 17 millions de dollars il y a deux ans. Dans un épisode du podcast Latent Space, le directeur technique de Modal, Akshat Bubna, est revenu avec les animateurs swyx et Vibhu sur l'évolution de la plateforme, née comme un simple runtime plus performant avant de devenir un cloud entièrement pensé pour les charges de travail liées à l'IA. Bubna y détaille l'arsenal technique déployé par Modal: fonctions serverless, infrastructure pilotée par décorateurs, inférence élastique pour des modèles personnalisés en audio, vidéo, robotique et biologie computationnelle, snapshotting de GPU, décodage spéculatif via une technologie maison baptisée DeFlash, ainsi que des sandboxes réseau avec adressage IPv6 privé et support RDMA pour l'entraînement multi-nœuds. Modal s'appuie désormais sur un pool de capacité réparti chez 17 fournisseurs cloud différents, une stratégie de "supercloud" censée absorber les pics de demande propres aux workloads d'IA. L'argument central de Bubna est que l'infrastructure cloud historique, conçue pour des développeurs humains capables de lire une documentation, de raisonner sur du YAML et d'interpréter un tableau de bord, ne convient plus à l'ère des agents autonomes. Contrairement à un humain qui peut combler les zones d'ombre d'un système avec son propre jugement, un agent a besoin d'un environnement beaucoup plus resserré: un espace pour écrire du code, l'exécuter, inspecter les résultats, modifier la configuration, déboguer et recommencer, avec des boucles de rétroaction rapides et un contexte complet. Ce changement de paradigme, que Modal résume par le passage d'une "expérience développeur" à une "expérience agent", a des conséquences concrètes pour l'industrie: les entraînements par renforcement peuvent nécessiter jusqu'à 100 000 sandboxes simultanées, et les agents en production exigent des garde-fous stricts ainsi qu'une observabilité renforcée, potentiellement plus importante que la simple lecture du code qu'ils génèrent. Ce virage s'inscrit dans un constat plus large partagé par Bubna: Kubernetes, l'outil d'orchestration dominant depuis une décennie, n'a jamais été conçu pour des charges de travail aussi explosives et gourmandes en calcul que celles générées par l'IA moderne, qu'il s'agisse d'inférence élastique, de sursauts GPU, de post-entraînement ou d'agents fonctionnant en arrière-plan. Modal a d'ailleurs intégré le support GPU avant même le lancement de ChatGPT, anticipant ce basculement. L'entreprise mise désormais sur des concepts comme les Auto Endpoints pour simplifier le déploiement d'inférences optimisées, sur des sandboxes accompagnées de sidecars réseau, et sur une approche dite d'"auto-recherche" où des agents peuvent eux-mêmes lancer des expériences guidées par des modèles sur des GPU. Cette levée de fonds massive doit permettre à Modal de renforcer sa capacité de calcul et de consolider sa position face à des concurrents comme Databricks, Daytona, Railway ou E2B sur ce marché émergent du cloud pour agents.

💬 J'y vois surtout un aveu: l'infra cloud pensée pour des humains qui lisent une doc ne tient plus face à des agents qui ont besoin de boucles de rétroaction en continu, exécuter, inspecter, recommencer. Bon, sur le papier ça justifie la levée à 355 millions, mais 100 000 sandboxes simultanées pour du RL, ça sent surtout la facture qui explose. Reste à voir si Modal tient la distance face à Databricks et E2B, ou si c'est juste une fenêtre de tir avant que les hyperscalers rattrapent le coup.

Micron et Anthropic s’allient pour renforcer l’infrastructure IA de nouvelle génération

Micron Technology et Anthropic ont annoncé le 22 juin 2026 un accord stratégique multidimensionnel qui couvre quatre axes : la co-conception d'architectures de mémoire et de stockage optimisées pour l'IA, un contrat d'approvisionnement à long terme portant sur l'ensemble du portefeuille de solutions pour centres de données de Micron, le déploiement interne de Claude dans les équipes de Micron, et une participation financière du fabricant de semi-conducteurs au tour de financement Série H d'Anthropic. Les deux entreprises travailleront conjointement sur les technologies de mémoire HBM (High Bandwidth Memory), les modules DRAM haute performance et les SSD destinés aux data centers, ces composants étant au cœur des infrastructures utilisées pour entraîner et faire tourner les modèles Claude. Tom Brown, cofondateur d'Anthropic et responsable des ressources de calcul, a souligné que la mémoire et le stockage jouent désormais un rôle central dans l'efficacité des systèmes d'entraînement et d'inférence de l'entreprise. L'accord illustre un changement de paradigme dans l'industrie de l'IA : les performances d'un modèle dépendent autant de l'infrastructure matérielle sous-jacente que des avancées algorithmiques. Si les GPU concentrent souvent l'attention, la capacité à les alimenter en données à très haute vitesse est devenue un facteur déterminant pour les coûts, les performances et la consommation énergétique des infrastructures à grande échelle. En optimisant directement les sous-systèmes mémoire utilisés par Anthropic, les deux partenaires cherchent à réduire le coût unitaire de chaque requête traitée par Claude, un levier concurrentiel décisif à mesure que le marché de l'IA générative se masse-marketise. L'accord d'approvisionnement sécurise par ailleurs la croissance d'Anthropic sur plusieurs années, limitant les risques de pénurie de composants critiques dans un marché en tension. Ce partenariat s'inscrit dans une stratégie plus large d'Anthropic visant à consolider ses fondations matérielles face à l'accélération de la demande autour de Claude. Reuters relevait récemment qu'Anthropic a multiplié les accords destinés à renforcer ses capacités de calcul, au moment même où le laboratoire enchaîne les levées de fonds record pour rivaliser avec OpenAI et Google DeepMind. Pour Micron, l'opération représente une opportunité de positionner ses technologies HBM comme composants de référence dans les futures générations d'infrastructure IA, un marché en croissance explosive. La collaboration technique directe avec un laboratoire de premier plan lui permet d'anticiper les besoins des prochains modèles et d'adapter son offre bien en amont, transformant un client potentiel en co-développeur.

Red Hat et NVIDIA dévoilent une nouvelle infrastructure dédiée aux agents IA

Red Hat et NVIDIA ont annoncé le 8 juin 2026, à l'occasion du Red Hat Summit 2026, une série d'évolutions majeures de leur plateforme conjointe Red Hat AI Factory. L'objectif affiché est de permettre aux entreprises de faire passer leurs agents IA autonomes du stade expérimental à la production à grande échelle. Parmi les nouveautés figurent l'intégration d'OpenShell, un projet open source initié par NVIDIA qui fournit un environnement d'exécution isolé pour agents autonomes, ainsi qu'un nouveau modèle MaaS (Model as a Service) gouverné offrant un accès à des modèles comme NVIDIA Nemotron via des interfaces compatibles avec les standards OpenAI. La plateforme embarque également un système de gestion du cycle de vie fondé sur MLflow, qui trace chaque appel aux modèles, les outils sollicités et les étapes de raisonnement des agents. En matière de sécurité, des capacités de calcul confidentiel basées sur NVIDIA Confidential Computing permettent désormais d'exécuter des conteneurs confidentiels au sein de Red Hat OpenShift, disponibles en préversion technologique. Cette annonce s'adresse directement aux entreprises qui butent sur les obstacles concrets à l'adoption industrielle de l'IA agentique : sécurité des données, auditabilité des décisions, conformité réglementaire. Contrairement aux assistants conversationnels classiques, les agents autonomes interagissent avec de multiples systèmes, exécutent des tâches complexes sur la durée et prennent des décisions sans intervention humaine permanente, ce qui exige un cadre de gouvernance nettement plus robuste. La traçabilité offerte par MLflow répond à une demande pressante des directions juridiques et de conformité, qui doivent justifier les actions automatisées de leurs systèmes IA. L'architecture zero-trust et le calcul confidentiel visent quant à eux à protéger les charges de travail sensibles, même dans des environnements cloud hybrides où les données circulent entre infrastructures on-premise et cloud public. Ce partenariat entre Red Hat et NVIDIA s'inscrit dans une compétition croissante entre les grands acteurs du cloud hybride et des semi-conducteurs pour imposer leurs stacks comme infrastructure standard de l'IA d'entreprise. NVIDIA, dont les GPU dominent l'entraînement des modèles, cherche à étendre son influence vers les couches logicielles de déploiement et de gouvernance, tandis que Red Hat apporte son positionnement historique dans les environnements OpenShift et son crédit auprès des DSI des grandes entreprises. La standardisation de la gouvernance des agents via OpenShell est particulièrement stratégique : celui qui contrôle la couche de politique d'exécution des agents contrôle de fait l'ensemble de l'écosystème applicatif qui s'y connecte. Les prochaines étapes passeront par l'intégration native d'OpenShell à l'écosystème Red Hat, avec une disponibilité générale attendue après la préversion actuelle.