Podcast : inférence distribuée de LLM sur Kubernetes avec llm-d, Wasm et TornadoVM

Ces sujets touchent un problème très concret : les GPU coûtent cher, et chaque cycle inutilisé se paie. En envoyant une requête vers le réplica qui détient déjà le cache pertinent, on évite de recalculer des portions entières de contexte, ce qui réduit la latence et libère de la capacité. Pour les équipes qui exploitent des modèles de langage en production, mieux répartir la charge permet de servir davantage d'utilisateurs avec le même matériel. Du côté des développeurs Java, TornadoVM ouvre la possibilité d'accélérer des calculs sur GPU sans quitter leur écosystème, tandis que WebAssembly poursuit son avancée comme environnement d'exécution portable et isolé pour les services backend.

Ces évolutions s'inscrivent dans le passage de l'IA générative de l'expérimentation à l'exploitation à grande échelle. vLLM s'est imposé comme moteur d'inférence open source de référence, et llm-d cherche à lui apporter une couche d'orchestration native Kubernetes, adaptée aux déploiements distribués. L'enjeu est de rendre l'inférence plus efficace sans enfermer les entreprises dans une infrastructure propriétaire, alors que la demande en calcul continue de croître et que la pression sur les coûts s'accentue.