Together AI lance Together Compiler : des agents rendent l'inférence jusqu'à 2,6 fois plus rapide
Together AI a présenté Together Compiler (TKCC), un système d'optimisation piloté par des agents de codage qui réécrit en continu la passe avant (forward pass) d'un modèle en fonction de l'évolution du trafic de production. À partir d'une commande de lancement de serveur, d'un profil de trafic et d'une configuration matérielle, les agents proposent des versions plus rapides, qu'un moteur persistant mesure ; le code gagnant est intégré au moteur de service, et la boucle repart dès que le trafic dérive. Testé sur Kimi K3, GLM 5.3, MiniMax M3.1 Flash, DeepSeek v4.1 Flash et Llama 1B, sur des puces NVIDIA (B200, B300, GB300, H100), AMD MI355X et AWS Trainium2, avec au plus deux nœuds par modèle, il atteint jusqu'à 2,6 fois plus de tokens par seconde que les meilleures configurations publiées d'InferenceX, en moins de 24 heures par réglage. Le meilleur résultat concerne MiniMax M3.1 Flash sur B200 : 1 111 TPS par utilisateur au P90 contre 633, soit 1,8 fois plus. Le plus faible touche GLM 5.3 sur MI355X, de 463 à 480 TPS (environ 4 %). DeepSeek v4.1 Flash passe de 943 à 1 205 sur GB300, GLM 5.3 de 329 à 417 sur B200 et Kimi K3 de 423 à 450 sur GB300 (chiffres communiqués par l'entreprise).
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de MarkTechPost. Lire l'article original →
L'enjeu est qu'un moteur réglé une fois devient obsolète. Selon Together AI, la forme du trafic ne cesse de bouger : les prompts atteignent environ 97 000 tokens dans un pays contre 70 000 ailleurs, et la longueur d'entrée au P90 d'un client est passée de 18 000 à 33 000 tokens en trois jours. Optimiser sur des données aléatoires peut aussi tromper : elles activent 13 à 38 % d'experts MoE de plus que le trafic réel, et un noyau top-k écrit par un agent prenait 20 µs sur données aléatoires mais jusqu'à 62 ms sur données réelles à 70 000 tokens de contexte. Le système réduit en outre le coût des expériences. Là où les boucles classiques redémarrent vLLM, SGLang ou TensorRT-LLM à chaque essai (761 secondes de démarrage à froid pour MiniMax sur TensorRT-LLM), Together Compiler lance le moteur une seule fois, injecte les candidats par appel RPC, remplace le pointeur de fonction et recapture les graphes CUDA. Ce procédé donne un débit d'expériences 252 fois supérieur.
Le contexte tient à la montée des modèles MoE géants et à la diversité du matériel. Un modèle de coût classe d'abord les dispositions de parallélisme (tenseur, experts, données, contexte) en combinant fiches techniques, microbenchmarks et passes mesurées : pour MiniMax, il a retenu TP8 plutôt que TP4, ce qui divise par deux le trafic mémoire des poids par GPU, et sur Kimi K3 il a trouvé une disposition de production gagnant jusqu'à 24 %. Deux niveaux de mesure, un rapide sur 12 couches et un lent sur 60, ont testé 8,1 fois plus de candidats (1 354 contre 168) et trouvé une solution 7,2 % plus rapide. Les équipes ont aussi constaté que les agents n'avaient pas besoin d'une base de connaissances d'experts : elle réduisait le gain de 25 à 31 % après 12 heures, et des agents naïfs ont dépassé les stratégies expertes (6,2x contre 4,9x). Ils reçoivent désormais le code source brut du moteur. Sur Llama 1B, le système devance les mégakernels de Hazy Research, Mirage et les bases CUDA graph jusqu'à 1,7 fois, et il accélère aussi huit modèles scientifiques.
Pas d'impact direct sur la France/UE