InfrastructureVentureBeat AI2h

Le prochain goulot d'étranglement de l'IA n'est pas les modèles, c'est la capacité des agents à raisonner ensemble

1 source couvre ce sujet·Source originale ↗·

Les agents d'intelligence artificielle peuvent désormais être interconnectés dans des workflows complexes, mais Vijoy Pandey, SVP et directeur général d'Outshift by Cisco, pointe une limite fondamentale : la connexion n'est pas la cognition. Chaque agent repart de zéro à chaque interaction, sans contexte partagé ni alignement sémantique avec ses pairs. Pour résoudre ce problème, l'équipe de Pandey développe trois nouveaux protocoles de communication inter-agents : le Semantic State Transfer Protocol (SSTP), qui opère au niveau du langage pour permettre aux systèmes d'inférer la bonne tâche ; le Latent Space Transfer Protocol (LSTP), capable de transférer l'espace latent complet d'un agent à un autre, en transmettant directement le cache KV pour éviter le coût de la tokenisation ; et le Compressed State Transfer Protocol (CSTP), orienté vers les déploiements en périphérie de réseau où il faut transmettre de grandes quantités d'état de manière précise et compressée. En parallèle, Cisco a collaboré avec le MIT sur le Ripple Effect Protocol, une initiative complémentaire dans cette direction.

L'enjeu derrière ces travaux est considérable : atteindre ce que Pandey appelle l'"internet de la cognition", un niveau où des agents peuvent résoudre des problèmes inédits, sans intervention humaine, en partageant véritablement leur intention et leur contexte. Ce saut qualitatif représente selon lui le "grand déblocage" pour les systèmes d'IA de prochaine génération. Sur le plan opérationnel, Cisco a déjà montré des résultats concrets : en déployant plus de vingt agents, dont certains développés en interne et d'autres issus de fournisseurs tiers, l'équipe SRE de Cisco a automatisé plus d'une douzaine de workflows de bout en bout, incluant les pipelines CI/CD, les déploiements Kubernetes et les instanciations EC2. Ces agents accèdent à plus de cent outils via des frameworks comme le Model Context Protocol (MCP), tout en s'intégrant aux plateformes de sécurité de Cisco.

Pandey situe cette évolution dans une trajectoire historique plus large : l'intelligence humaine a d'abord émergé individuellement, avant que la communication progressive entre individus ne déclenche une révolution cognitive collective, permettant l'intention partagée, la coordination et l'innovation distribuée. Son équipe reproduit délibérément cette trajectoire dans le silicium, en codifiant l'intention, le contexte et l'innovation collective directement dans l'infrastructure sous forme de règles, d'API et de capacités. L'architecture cible se décompose en trois couches : les protocoles (SSTP, LSTP, CSTP), un tissu de distribution pour synchroniser les états cognitifs entre endpoints, et des "moteurs de cognition" fournissant garde-fous et accélération. Cisco n'est pas seul sur ce terrain : la course à l'infrastructure agentique de nouvelle génération s'intensifie, avec des acteurs comme Anthropic, OpenAI et des startups spécialisées qui poussent chacun leurs propres standards, rendant la bataille des protocoles aussi stratégique que celle des modèles eux-mêmes.

À lire aussi

1AWS ML Blog

Inférence LLM accélérée par décodage spéculatif sur AWS Trainium et vLLM

AWS et ses partenaires ont publié des résultats de benchmarks démontrant que le décodage spéculatif (speculative decoding) sur les puces AWS Trainium2, couplé au framework vLLM et à Kubernetes, permet d'accélérer la génération de tokens jusqu'à trois fois pour les charges de travail intensives en décodage. Les tests ont été réalisés avec les modèles Qwen3, une famille de modèles de langage développée par Alibaba. La technique repose sur l'utilisation de deux modèles en tandem : un petit modèle "brouillon" (draft model) qui propose plusieurs tokens en avance, et le modèle principal qui vérifie ces propositions en une seule passe. Résultat : une latence inter-token réduite et un coût par token généré significativement plus faible. L'impact est particulièrement marqué pour les applications comme les assistants à l'écriture, les agents de code ou tout système génératif qui produit beaucoup plus de tokens qu'il n'en consomme en entrée. Dans ces cas, la phase de décodage représente l'essentiel du coût d'inférence. Le problème fondamental du décodage autorégressif classique est que les accélérateurs matériels restent largement sous-utilisés : chaque étape ne produit qu'un seul token, ce qui génère de petites opérations matricielles inefficaces et monopolise inutilement la bande passante mémoire du cache KV. Le décodage spéculatif transforme ce goulot d'étranglement en permettant au modèle cible de traiter n tokens simultanément lors de la vérification, amortissant ainsi les accès mémoire et densifiant les calculs. Deux paramètres clés pilotent les performances de cette approche : le choix du modèle brouillon et la valeur de numspeculativetokens, qui détermine combien de tokens sont proposés à chaque passe. Le modèle brouillon doit partager le même tokenizer et le même vocabulaire que le modèle principal, idéalement appartenir à la même famille architecturale, pour maximiser le taux d'acceptation des tokens proposés. Un taux d'acceptation élevé est crucial : si le modèle principal rejette trop souvent les suggestions, les gains de performance s'évaporent et le coût de calcul du modèle brouillon devient une charge nette. Fixer numspeculativetokens trop bas limite les gains ; trop haut, cela multiplie les rejections anticipées. Cette publication s'inscrit dans une tendance plus large de la course à l'optimisation de l'inférence LLM, où AWS cherche à positionner ses puces Trainium comme alternative crédible aux GPU Nvidia, notamment pour les entreprises cherchant à réduire leurs coûts d'inférence à grande échelle.

UELes entreprises européennes utilisant AWS pourraient réduire leurs coûts d'inférence LLM en migrant vers Trainium2, sans impact réglementaire ou institutionnel direct pour la France ou l'UE.

InfrastructureActu

1 source

2NVIDIA AI Blog

Repenser le coût total de l'IA : pourquoi le coût par token est la seule métrique qui compte

Les centres de données d'entreprise sont en train de vivre une mutation profonde : autrefois dédiés au stockage et au traitement de données, ils deviennent des usines à tokens, dont la production principale est l'intelligence artificielle générée à la demande. Cette transformation oblige les entreprises à repenser entièrement leur manière d'évaluer le coût total de possession (TCO) de leur infrastructure IA. Or, selon NVIDIA, la majorité des décideurs continuent de se focaliser sur des métriques obsolètes : le coût par GPU par heure ou les FLOPS par dollar, c'est-à-dire la puissance brute de calcul obtenue pour chaque dollar investi. Ces indicateurs mesurent des intrants, alors que les entreprises, elles, font tourner leur activité sur des extrants. La seule métrique qui compte réellement est le coût par million de tokens produits, soit le coût tout compris pour générer chaque unité d'intelligence délivrée à l'utilisateur final. Optimiser ce coût par token change fondamentalement l'équation économique de l'IA. Le numérateur de cette équation, le coût horaire du GPU, est visible et facile à comparer entre fournisseurs cloud ou solutions on-premise. Mais c'est le dénominateur, soit le volume de tokens effectivement délivrés par seconde, qui détermine la rentabilité réelle. Augmenter ce débit produit deux effets simultanés : il réduit le coût unitaire de chaque interaction servie, améliorant ainsi les marges, et il augmente le nombre de tokens par mégawatt consommé, ce qui permet de générer davantage de revenus à partir du même investissement infrastructurel. NVIDIA affirme proposer le coût par token le plus bas du secteur, notamment sur les modèles de raisonnement de type mixture-of-experts (MoE), qui représentent aujourd'hui la catégorie de modèles la plus largement déployée en production. Cette réévaluation des critères de choix s'inscrit dans un contexte de montée en puissance de l'IA agentique, où les systèmes autonomes enchaînent des séquences longues d'inférences, rendant le débit et la latence encore plus critiques. Des technologies comme le décodage spéculatif, la prédiction multi-token, le routage KV-aware ou encore le déchargement du cache KV permettent d'augmenter substantiellement le débit réel sans changer le matériel. La prise en charge de la précision FP4, la capacité de l'interconnexion à gérer le trafic all-to-all des modèles MoE, ou encore les optimisations de la couche de serving deviennent des critères de sélection déterminants. Pour les déploiements on-premise notamment, où l'engagement en capital sur le foncier, l'énergie et l'infrastructure est massif, maximiser l'intelligence produite par mégawatt n'est plus une option technique mais un impératif économique.

InfrastructureActu

1 source

3FrenchWeb

ASML : la seule entreprise capable de ralentir l’IA

ASML, le fabricant néerlandais de machines de lithographie ultraviolette extrême (EUV), a publié ses résultats trimestriels début 2026, révélant un carnet de commandes en deçà des attentes du marché malgré une demande mondiale de puces en apparente explosion. L'entreprise basée à Eindhoven est la seule au monde capable de produire les machines EUV indispensables à la fabrication des puces les plus avancées, celles que TSMC, Samsung et Intel utilisent pour graver les processeurs alimentant les data centers d'IA. Sans ses équipements, aucun chip de dernière génération ne peut être fabriqué. Ce goulet d'étranglement technologique place ASML dans une position unique : celle d'un frein potentiel à la croissance de l'IA, non par choix stratégique, mais par réalité industrielle. Une machine EUV coûte environ 200 millions d'euros, prend des mois à assembler et requiert plus de 100 000 composants provenant de fournisseurs spécialisés à travers le monde. ASML ne peut en produire qu'une centaine par an, une capacité qui ne peut pas simplement être doublée sur décision. Quand les commandes ralentissent ou que les délais s'allongent, c'est l'ensemble de la chaîne d'approvisionnement en semi-conducteurs qui se grippe. Le contexte est celui d'une tension géopolitique persistante : les restrictions américaines sur les exportations de machines ASML vers la Chine, appliquées depuis 2023 avec la complicité des Pays-Bas, ont déjà réduit un marché majeur. Pendant ce temps, les grandes fonderies investissent des centaines de milliards pour étendre leurs capacités, mais restent tributaires du rythme de livraison d'ASML. L'entreprise incarne ainsi le paradoxe de l'ère de l'IA : une croissance présentée comme illimitée, mais contrainte par des réalités physiques et industrielles bien tangibles.

UEASML, fleuron néerlandais et actif stratégique européen, est au cœur des restrictions d'exportation vers la Chine imposées sous pression américaine, exposant la dépendance de l'UE à un seul fournisseur critique pour toute sa chaîne semi-conducteurs.

InfrastructureOpinion

1 source

4AWS ML Blog

Bonnes pratiques pour l'inférence sur Amazon SageMaker HyperPod

Amazon a enrichi sa plateforme SageMaker HyperPod d'un ensemble de fonctionnalités dédiées à l'inférence de modèles d'IA générative, avec pour promesse affichée une réduction du coût total de possession allant jusqu'à 40%. La solution s'appuie sur Amazon Elastic Kubernetes Service (EKS) comme orchestrateur et permet de créer un cluster en quelques clics depuis la console SageMaker AI. Deux modes de configuration sont proposés : une installation rapide avec des ressources par défaut, et une installation personnalisée permettant d'intégrer des infrastructures existantes. Une fois le cluster actif, l'opérateur d'inférence intégré permet de déployer des modèles directement depuis des buckets S3, des systèmes de fichiers FSx for Lustre, ou depuis le catalogue SageMaker JumpStart, sans écrire une seule ligne de code. Des notebooks d'exemple couvrent les cas d'usage courants : modèles préconstruits, modèles fine-tunés, configurations personnalisées. L'enjeu central de cette mise à jour est la gestion dynamique des ressources GPU, historiquement coûteuse et complexe à piloter. HyperPod introduit une architecture de scalabilité à deux niveaux : KEDA (Kubernetes Event-Driven Autoscaling), un projet open source de la Cloud Native Computing Foundation, gère l'autoscaling des pods en fonction de métriques temps réel comme la longueur de la file de requêtes, la latence, ou des métriques CloudWatch et Prometheus personnalisées. KEDA peut réduire le nombre de pods à zéro en l'absence de trafic, supprimant ainsi les coûts à l'arrêt. En parallèle, Karpenter opère au niveau des nœuds de calcul : il provisionne ou retire des instances selon les besoins des pods en attente, et tourne dans le plan de contrôle EKS, ce qui évite tout surcoût lié à l'autoscaler lui-même. Cette combinaison permet de passer de zéro à une charge de production en réponse à la demande réelle. Ce lancement intervient dans un contexte où le déploiement de modèles de fondation à grande échelle est devenu un point de friction majeur pour les équipes IA en entreprise : infrastructure difficile à calibrer, pics de trafic imprévisibles, surinvestissement GPU, et délais de mise en production allongés. AWS positionne HyperPod comme une réponse complète à ce trilemme coût-performance-simplicité, en absorbant la complexité opérationnelle dans une couche managée. La plateforme concurrence directement les offres de Google (Vertex AI) et Microsoft Azure (ML endpoints managés), qui proposent des approches similaires. Les suites probables incluent une intégration plus poussée avec les outils d'observabilité AWS et une extension du support à d'autres architectures de modèles, alors que la course aux infrastructures d'inférence efficaces s'intensifie dans tout le secteur cloud.

InfrastructureActu

1 source