Sarvam lance Sarvam Token Factory : une inférence hébergée en Inde pour 8 modèles open source
Sarvam a ouvert à tous Sarvam Token Factory, une plateforme d'inférence qui sert ses propres modèles et des modèles open-weight depuis des grappes de GPU situées en Inde, via une unique API compatible OpenAI. Huit modèles sont listés au lancement : Sarvam 105B (105 milliards de paramètres au total, 9 milliards actifs, contexte de 128K), GLM 5.3, GLM 5.3 Flash, DeepSeek V4.1 Flash 1017, DeepSeek V4 Pro, Kimi K3, Kimi K3.1 Pro et Gemma 4 31B. L'ensemble tourne sur des clusters NVIDIA B200, et un déploiement sur site est proposé aux entreprises. Selon les mesures publiées par Sarvam lui-même, Sarvam 105B affiche 0,2 seconde avant le premier token et 330 tokens par seconde pour un utilisateur unique. Gemma 4 31B, avec un prompt de 10K depuis Mumbai, atteint 0,40 s et 308 tokens/s, contre 2,00 s et 193 tokens/s chez le seul autre fournisseur comparé. Sur Kimi K3.1 Pro, 16 B200 délivrent 6 177 tokens/s par GPU contre 3 213 pour InferenceX à 70 tokens/s par utilisateur, soit un gain de 1,9 fois. Sous forte charge agentique (72 sessions), le premier token arrive en médiane à 0,8 s contre 11,6 s.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de MarkTechPost. Lire l'article original →
Pour les équipes basées en Inde, l'enjeu est d'obtenir des tokens à faible latence sans faire transiter le trafic par des clouds étrangers, ce qui compte pour la réactivité des applications comme pour la localisation des données. Les gains reposent largement sur le cache : DeepSeek V4.1 Flash traite plus de 450 milliards de tokens par jour, dont 95,7 % des tokens de prompt proviennent du cache. Sur GLM 5.3, le planificateur a ramené les heures-GPU de préremplissage de 32,3 à 17,1 pour une même charge rejouée. Pour Sarvam 105B, les poids en MXFP8 associés au décodage spéculatif ont multiplié le débit de sortie par environ 2,2, ce qui permet de passer de deux B200 à un seul par réplique, sans perte de précision selon l'entreprise. Ces résultats, tous auto-déclarés, ne sont pas uniformément favorables : sur DeepSeek V4.1 Flash avec un prompt de 10K, Together affiche 0,71 s avant le premier token contre 0,90 s pour Sarvam, et diffuse plus vite, à 278 tokens/s contre 130 pour l'offre Sarvam Standard.
Techniquement, la plateforme s'organise en trois couches autour d'un cache partagé : un plan de contrôle (routeur sensible au cache, contrôle d'admission, planificateur), un moteur d'inférence avec des pools de GPU distincts pour le préremplissage et le décodage, et un cache combinant mémoire GPU et un stockage partagé G3 construit sur Mooncake. Le tout s'appuie sur vLLM, SGLang, Dynamo, NIXL, DeepEP, DeepGEMM et FlashInfer, tandis qu'un agent orchestrateur propose des expériences que les ingénieurs valident avant chaque déploiement. Sarvam avait présenté une première version, baptisée Sarvam Inference, lors de son événement Epoch. L'accès se divise en deux régimes : des points d'accès partagés facturés à l'usage, et, pour des modèles comme DeepSeek V4 Pro, Kimi K3.1 Pro, Qwen 3.8 27B, Clef ou EmbeddingGemma 2, un débit provisionné activé organisation par organisation. Le lancement s'inscrit dans la montée en puissance des infrastructures d'IA souveraines en Inde, où Sarvam cherche à s'imposer face aux fournisseurs mondiaux d'inférence, avec des tarifs publiés en roupies.