6MarkTechPost
Decision 3.0 : les nouveaux modèles de décision ouverts du vLLM Semantic Router
Les développeurs de vLLM Semantic Router ont publié Decision 3.0, une famille de modèles de décision multimodaux ouverts, tous sous licence Apache-2.0. Ils lisent du texte, du JSON et des images, puis répondent à des questions typées : un choix parmi des options, un oui/non ou un score sur une échelle. Cinq tailles existent : d3-lite (0,85 milliard de paramètres), d3-nano (2,21 Md), d3-mini (4,54 Md), d3-flash (8,39 Md) et d3 (26,09 Md). Chaque modèle est un fine-tuning d'une base Qwen. Le plus gros repose sur Qwen3.8-27B, les quatre autres sur des checkpoints Qwen3.5 de 0,8B, 2B, 4B et 9B. Tous embarquent un encodeur de vision (de 0,10 à 0,46 Md de paramètres) et acceptent plusieurs images PNG, JPEG ou WebP, chacune lue jusqu'à 1,6 mégapixel. Le modèle répond à toutes les questions en un appel, avec une passe avant par question, et renvoie une probabilité pour chaque réponse. Sur un GPU AMD Instinct MI325X, la latence médiane va de 21,7 ms en texte pour d3-nano à 84 ms pour d3, et de 60,7 ms à 342 ms avec une image. Les modèles ont aussi été entraînés sur ces GPU. La longueur de contexte n'est pas communiquée. L'intérêt pratique est de remplacer le schéma classique qui consiste à interroger un LLM puis à analyser son texte généré. Les développeurs obtiennent des scores calibrés qu'ils peuvent seuiller directement, ce qui convient au routage de requêtes, aux garde-fous et au filtrage. Les performances sont notables à petite échelle : d3-flash (9B) obtient 59,0 sur l'indice de la fiche, au-dessus des 55,9 de Decision 2.0 en 27B. Sur la suite publique, les gains par rapport à Decision 2.0 vont de +8,0 points (27B) à +15,1 (0,8B). Le modèle d3 atteint 97,7 en extraction de documents (KIE, CORD+FUNSD), 97,3 sur InfographicVQA et 89,9 sur Mind2Web. Il reste faible sur MMMU-Pro en vision (46,2), sur la modération Hateful Memes (44,6) et sur R-Bench-M (34,1). Tous ces chiffres proviennent de l'évaluation interne de l'équipe, et non d'un audit indépendant. Le modèle d3 mène les tableaux texte (64,1 contre 62,8 pour Perplexity Decider v1.1 et 60,1 pour Jev) et vision (71,6 contre 70,6). Le leadership n'est toutefois pas uniforme. Torchcast Decision 27B le devance légèrement sur la suite publique (65,1 contre 64,9). d3-lite se classe troisième en vision (41,1, derrière JPT-0.8B à 42,1). d3-nano est devant en vision mais derrière LiquidAI d1-3B en texte (35,8 contre 40,1). Ces résultats sont mesurés sur le Jev Decision Index 0.3.1, un classement de reproductions ouvertes du système de décision Jev de TypeSafe, qui popularise ce « système un », où de petits modèles rapides produisent des jugements typés que le code combine. Le champ s'est rempli de concurrents : Perplexity Decider v1.1 (26B, 8 192 tokens par décision), Decision 2.0 (texte et JSON, 32 768 tokens) et LiquidAI d1-3B (3,12B, basé sur LFM2.5-VL-3B). Le chargement exige trustremotecode=True et transformers 5.17.0, avec le paquet optionnel flash-linear-attention pour accélérer les couches d'attention linéaire. Les poids sont en BF16 et aucune variante quantifiée officielle n'est listée.
💬 Le "système un" a trouvé son marché : des petits modèles qui rendent un jugement typé avec une probabilité, au lieu d'un LLM dont on parse le texte en priant. Un 9B qui bat l'ancien 27B sur l'indice maison, c'est ce qui compte, parce que 22 ms pour router une requête, ça se met devant tout, sans que la facture explose. Bon, tous les chiffres viennent de l'équipe elle-même, et le plus gros se fait doubler par Torchcast sur la suite publique, donc le "leader" est à prendre avec des pincettes. Reste à voir si les scores calibrés tiennent sur tes vraies données.