Nokia rend open source AnyJev, une couche sans entraînement qui transforme tout LLM ouvert en modèle de décision calibré
Nokia a mis en open source AnyJev, une bibliothèque Python développée par son équipe de recherche appliquée qui transforme n'importe quel grand modèle de langage ouvert en modèle de décision calibré, sans nécessiter d'entraînement. Publiée sous licence Apache-2.0 et installable via PyPI, elle offre des backends compatibles avec transformers et vLLM, avec un système de scoring à préfixe partagé pour accélérer les traitements. AnyJev reprend l'interface de Jev, le modèle de décision "System One" lancé par TypeSafe AI en septembre 2026. L'outil gère trois types de questions: à choix parmi K options, de type oui/non, ou de notation par tranches ordonnées. Sur le benchmark BANKING77 (20 catégories, 300 exemples de test) avec le modèle Qwen3-8B, le taux d'inversion de réponse lors du réordonnancement des options chute de 0,230 avec les logits bruts à 0,073 avec le niveau L0 d'AnyJev, tandis que la précision passe de 74,7% à 80,3% et l'erreur de calibration (ECE) de 0,240 à 0,184. Avec le niveau L1, la part du trafic "auto-décidable" à 5% d'erreur grimpe de 7,7% à 52%.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de MarkTechPost. Lire l'article original →
Cette avancée répond à un problème très concret rencontré en production: de nombreux systèmes se contentent de lire directement les probabilités des tokens de réponse pour transformer un LLM en classificateur, mais cette méthode souffre de deux biais majeurs identifiés par l'équipe Nokia. Le biais de position fait que le modèle favorise certains emplacements dans la liste d'options, tandis que le biais de préférence pousse le modèle à privilégier certaines étiquettes (comme "oui" plutôt que "non") indépendamment du contenu réel de la question. Pour une entreprise comme Nokia, qui a testé AnyJev sur un problème interne de routage, cela signifie pouvoir déployer des systèmes de décision fiables et calibrés sans les coûts et délais d'un fine-tuning dédié, un enjeu majeur pour les équipes d'ingénierie qui doivent automatiser des décisions comme le tri des tickets clients ou la classification de conversations.
La solution technique repose sur deux mécanismes combinés au niveau L0, activé par défaut. Les rotations cycliques présentent chaque question dans les K permutations possibles de ses options, puis combinent les résultats par moyenne géométrique dans l'espace logarithmique, ce qui élimine le biais de position lorsque celui-ci est additif. La correction de biais préalable s'appuie sur un calibrage par lot: le système maintient une moyenne glissante des distributions prédites sur des données réelles et corrige le résultat avec une intensité de 0,75 après un minimum de huit exemples traités. Ce calcul coûte K préremplissages par décision, soit environ 0,25 seconde à un lot de 32 sur un GPU H100 pour K=20. Le niveau L1, plus gourmand, ajoute un calibrage par température nécessitant entre 100 et 500 étiquettes annotées par type de question. Sur un jeu de décisions typées, Qwen3-32B avec L1 atteint une erreur de calibration de 0,036, contre 0,144 pour Jev selon les chiffres publiés par TypeSafe AI, même si les modèles spécifiquement affinés comme Laya conservent encore l'avantage en précision brute.
Nokia, entreprise finlandaise, publie un outil open source qui pourrait être adopte par des équipes d'ingénierie européennes pour fiabiliser leurs systèmes de décision bases sur des LLM.