Liquid AI lance RIPL, un moteur d'inférence en temps réel pour des LFM sous les 50 ms
Liquid AI a annoncé Liquid RIPL (Real-time Inference Pipeline), un moteur d'inférence conçu pour servir ses modèles Liquid Foundation Models (LFM) directement dans le chemin d'une requête en production. Il renvoie une réponse générée complète, de bout en bout, en moins de 50 ms, et l'entreprise affirme que cette latence tient même sous un trafic continu à pleine charge. Le moteur sert les modèles LFM2.5, de 230 millions à 2,6 milliards de paramètres, sur des GPU NVIDIA H100, H200, B200 et RTX PRO 6000 en déploiement entreprise. Les benchmarks ont été réalisés sur un seul B200, avec des arrivées de requêtes de type Poisson en boucle ouverte. Selon les tests de Liquid AI, la latence p95 est de 5,6 à 28,4 fois inférieure à celle de Qwen3.5 sur vLLM. Le meilleur écart concerne LFM2.5-1.2B, à 155,8 ms contre 4 431 ms pour Qwen3.5-0.8B (256 jetons en entrée, 128 en sortie, 400 req/s). Le plus faible concerne LFM2.5-2.6B, à 449,1 ms contre 2 499 ms pour Qwen3.5-2B, soit un gain de 5,6x. Sur des requêtes courtes (32 en entrée, 32 en sortie, 1 000 req/s), LFM2.5-1.2B atteint 34,6 ms contre 498 ms, et le 2,6B affiche 76,4 ms contre 586,8 ms. La barre des 50 ms n'est donc pas tenue sur les requêtes longues.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de MarkTechPost. Lire l'article original →
L'enjeu touche les applications où la réponse doit arriver en quelques millisecondes : classement de recherche, détection de fraude, autorisation de paiement. Les piles de serving actuelles sont pensées pour de gros lots et de longues tâches agentiques, où quelques secondes par requête sont tolérables. Faute de mieux, les équipes se rabattent sur des modèles classiques comme les arbres de gradient boosting. Liquid AI veut supprimer ce compromis et permettre de remplacer ces modèles par un modèle génératif sans dépasser le budget de latence. L'entreprise a cartographié six charges réelles avec leur budget : réécriture de requêtes publicitaires (50 ms, LFM2.5-350M), classification d'intention de recherche (20 ms), reranking (30 ms), scoring de risque de paiement (50 ms, LFM2.5-1.2B), décision de crédit (150 ms, 8 000 jetons en entrée) et génération de texte alternatif d'image (100 ms, LFM2.5-VL-450M). Shopify déploie déjà des LFM sur des charges de commerce sensibles à la latence : en amélioration de recherche, l'inférence passe sous les 20 ms sur du trafic de production, avec environ 50 % de paramètres en moins et une inférence 2 à 10 fois plus rapide que les alternatives, selon Liquid AI.
Les chiffres sont toutefois publiés par l'entreprise elle-même et la comparaison n'est pas strictement équivalente. RIPL est un moteur commercial réservé aux entreprises, face à vLLM, open source. Les modèles diffèrent aussi : LFM2.5-1.2B dispose d'un contexte de 32 768 jetons et d'une licence LFM Open License v1.0, quand Qwen3.5 offre 262 144 jetons, du multimodal (texte, image, vidéo) et une licence Apache 2.0. Pour isoler la part du moteur, Liquid AI a comparé le même modèle, LFM2.5-350M, sur vLLM et sur RIPL, et la courbe p95 de RIPL reste nettement en dessous dans chaque cas. Les gains tiennent aussi à l'architecture hybride des LFM2.5 : le 1.2B compte 16 couches, dont 10 blocs de convolution à double porte et 6 blocs GQA, et le 2.6B en compte 30, avec 22 blocs de convolution et 8 blocs GQA. Liquid AI mise ainsi sur des petits modèles efficaces, optimisés sur tout le trajet de la requête, pour conquérir des usages que les grands modèles servis par lots ne peuvent pas atteindre.
Pas d'impact direct sur la France/UE