Tech

Réduire la latence des LLM grâce au routage sensible aux préfixes sur Amazon SageMaker Inference

Amazon SageMaker Inference a lancé le 11 septembre 2026 un nouveau mécanisme baptisé prefix-aware routing, conçu pour réduire la latence des grands modèles de langage (LLM) déployés sur plusieurs instances. Le problème visé est concret : dans une application type chatbot de service client, chaque requête commence par un bloc de contexte fixe (instructions, politiques de l'entreprise), pouvant atteindre 3 000 tokens, suivi d'une question de l'utilisateur d'à peine 50 tokens. Des moteurs comme vLLM ou TensorRT-LLM savent déjà mettre en cache les calculs de ce préfixe répété (technique dite de prefix caching), mais ce cache perd son intérêt dès qu'un pool de plusieurs machines répartit aléatoirement les requêtes, empêchant une même instance de voir suffisamment souvent le même préfixe.

💬 Le prefix caching existait déjà chez vLLM ou TensorRT-LLM, mais je le trouvais un peu théorique dès qu'on répartissait les requêtes sur plusieurs machines : le cache ne revoyait jamais deux fois le même préfixe. C'est exactement ce trou qu'AWS vient combler, et diviser le temps de première réponse par trois sans écrire une ligne de logique d'affinité, c'est le genre de truc qu'on attendait depuis que tout le monde traîne des contextes de plusieurs milliers de tokens. Ça ne changera rien si ton appli fait dix requêtes par minute, mais pour le support client ou le juridique qui balancent le même préfixe de 3000 tokens en boucle, c'est un vrai gain, pas du marketing.

NVIDIA détaille BioIR : débit de repliement Boltz-2 multiplié par 2,9 et 58 500 résidus par heure-GPU sur 8 H100

NVIDIA a détaillé le fonctionnement de son BioNeMo Inference Runtime (BioIR), une bibliothèque Python qui accélère les modèles de prédiction de structures biomoléculaires sur GPU tout en conservant un flux de travail PyTorch standard. Cet outil a déjà tourné à échelle de production : il a permis l'expansion récente de l'AlphaFold Database, générant des structures de complexes protéiques sur 4 777 protéomes, soit environ 31 millions de complexes candidats, dont 1,81 million publiés comme prédictions à haute confiance. Dans un benchmark portant sur 1 000 cibles dimériques humaines (longueurs de séquence combinées inférieures à 2 800 résidus) exécuté sur 8 GPU H100 de 80 Go, BioIR associé au modèle Boltz-2 a traité l'ensemble des cibles en délivrant 58,5 milliers de…

Réduire les temps de démarrage à froid sur Amazon SageMaker HyperPod grâce à la mise en cache des modèles

AWS a lancé une nouvelle fonctionnalité de mise en cache de modèles pour Amazon SageMaker Inference sur HyperPod, destinée à réduire drastiquement les temps de démarrage à froid lors du déploiement de grands modèles de langage. Jusqu'à présent, chaque nouveau pod d'inférence devait suivre deux téléchargements séquentiels avant de pouvoir traiter la moindre requête : l'image du conteneur du serveur d'inférence depuis Amazon ECR, puis les poids du modèle depuis une source de stockage comme Amazon S3, Amazon FSx for Lustre ou HuggingFace Hub. Pour les images de serveurs comme vLLM ou LMI, qui embarquent pilotes GPU, bibliothèques CUDA et framework de service, ce seul téléchargement prend entre 5 et 7 minutes.

💬 Le vrai problème, c'était jamais le calcul, c'était l'attente : 30 minutes pour qu'un pod DeepSeek-R1 daigne répondre à la première requête, pendant qu'un pic de trafic passe. Le cache NVMe local, ça ramène ça à quelques secondes, et c'est exactement le genre de plomberie invisible qui rend l'autoscaling GPU crédible en prod plutôt que théorique. Ce qu'AWS montre surtout, c'est que le vrai goulot d'étranglement de l'inférence à grande échelle n'est plus le silicium, c'est le réseau de stockage qu'on a construit autour.

L'IA physique prend le volant : comment les leaders mondiaux du robotaxi construisent avec les technologies NVIDIA

Le marché mondial des robotaxis, présenté comme la première percée commerciale de l'« IA physique », devrait atteindre 400 milliards de dollars d'ici 2035, avec plus de 6 millions de véhicules commerciaux en circulation à terme. Des flottes sans chauffeur circulent déjà dans certaines des rues les plus denses et complexes au monde. NVIDIA a détaillé la pile technologique qui sous-tend, selon l'entreprise, tous les grands programmes de robotaxis opérant aujourd'hui à échelle commerciale. Cette architecture repose sur trois "ordinateurs" complémentaires : un ordinateur d'entraînement basé sur les systèmes NVIDIA DGX, qui exploite le portefeuille Alpamayo de modèles ouverts vision-langage-action (VLA) à raisonnement, ainsi que des jeux de données d'IA physique et des recettes de post-entraînement ; un ordinateur de…