L'ingénierie de l'inférence en pratique, avec Philip Kiely et Ali Taha (Baseten)
Baseten, plateforme d'infrastructure pour l'inférence de modèles d'IA, a levé un tour de financement colossal de 13 milliards de dollars, rejoignant le cercle restreint des nouvelles licornes de l'infrastructure IA aux côtés de Nvidia et Intel, principales bénéficiaires de ce que certains appellent "l'inflexion de l'inférence". Dans un épisode récent du podcast Latent Space, animé par swyx et Vibhu, deux ingénieurs de Baseten, Philip Kiely et Ali Taha, détaillent ce qui se passe concrètement après la sortie d'un nouveau modèle open source, avant qu'il ne devienne une API rapide et fiable. Ali Taha a récemment publié une analyse très commentée du modèle Kimi K3, tandis que Philip Kiely a pris la parole à la conférence AI Engineer et publié un ouvrage de référence sur l'ingénierie de l'inférence. Les deux experts expliquent notamment comment, lors d'une expérience sur le modèle GLM-5.2, une quantification plus poussée a permis d'augmenter le débit de 20 % tout en préservant la qualité des benchmarks, les erreurs introduites dans différentes couches du modèle s'annulant mutuellement.
Cette discipline, quasi inexistante il y a trois ans, est devenue l'un des enjeux techniques majeurs de l'IA générative. Elle répond à une question distincte de celle de l'entraînement des modèles : comment transformer des poids de réseaux de neurones en un produit rapide, fiable et rentable à grande échelle. Les techniques évoquées, routage sensible au cache, séparation des phases de préremplissage et de décodage sur des GPU distincts, décodage spéculatif utilisant un petit modèle pour accélérer un plus grand, ou déplacement optimisé du cache KV, permettent des gains de performance allant de 20 % à parfois 200 %, avec des déploiements jusqu'à dix fois plus rapides. Pour l'industrie, cela signifie des coûts d'exploitation réduits et une meilleure fiabilité des API, un enjeu direct pour toute entreprise déployant des modèles à grande échelle plutôt que de dépendre d'API partagées.
Les deux ingénieurs reviennent aussi sur des cas concrets, comme la greffe d'un encodeur visuel du modèle Kimi directement sur GLM-5.2 sans modifier le modèle de langage sous-jacent, ou la gestion de requêtes atteignant 200 000 tokens. La conversation s'élargit ensuite à des sujets plus larges : la plateforme NVIDIA Dynamo, les futurs GPU Rubin, la question de savoir si le matériel évolue vers des puces IA programmables, ainsi que la convergence croissante entre entraînement et inférence, notamment via l'apprentissage continu s'appuyant sur des caches KV persistants, une piste qui pourrait redéfinir la frontière entre ces deux étapes historiquement séparées.
Dans nos dossiers
Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.
