Nokia rend open source AnyJev, une couche sans entraînement qui transforme tout LLM ouvert en modèle de décision calibré
Nokia a mis en open source AnyJev, une bibliothèque Python développée par son équipe de recherche appliquée qui transforme n'importe quel grand modèle de langage ouvert en modèle de décision calibré, sans nécessiter d'entraînement. Publiée sous licence Apache-2.0 et installable via PyPI, elle offre des backends compatibles avec transformers et vLLM, avec un système de scoring à préfixe partagé pour accélérer les traitements. AnyJev reprend l'interface de Jev, le modèle de décision "System One" lancé par TypeSafe AI en septembre 2026. L'outil gère trois types de questions: à choix parmi K options, de type oui/non, ou de notation par tranches ordonnées. Sur le benchmark BANKING77 (20 catégories, 300 exemples de test) avec le modèle Qwen3-8B, le taux d'inversion de réponse lors du réordonnancement des options chute de 0,230 avec les logits bruts à 0,073 avec le niveau L0 d'AnyJev, tandis que la précision passe de 74,7% à 80,3% et l'erreur de calibration (ECE) de 0,240 à 0,184. Avec le niveau L1, la part du trafic "auto-décidable" à 5% d'erreur grimpe de 7,7% à 52%.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de MarkTechPost. Lire l'article original →
Cette avancée répond à un problème très concret rencontré en production: de nombreux systèmes se contentent de lire directement les probabilités des tokens de réponse pour transformer un LLM en classificateur, mais cette méthode souffre de deux biais majeurs identifiés par l'équipe Nokia. Le biais de position fait que le modèle favorise certains emplacements dans la liste d'options, tandis que le biais de préférence pousse le modèle à privilégier certaines étiquettes (comme "oui" plutôt que "non") indépendamment du contenu réel de la question. Pour une entreprise comme Nokia, qui a testé AnyJev sur un problème interne de routage, cela signifie pouvoir déployer des systèmes de décision fiables et calibrés sans les coûts et délais d'un fine-tuning dédié, un enjeu majeur pour les équipes d'ingénierie qui doivent automatiser des décisions comme le tri des tickets clients ou la classification de conversations.
La solution technique repose sur deux mécanismes combinés au niveau L0, activé par défaut. Les rotations cycliques présentent chaque question dans les K permutations possibles de ses options, puis combinent les résultats par moyenne géométrique dans l'espace logarithmique, ce qui élimine le biais de position lorsque celui-ci est additif. La correction de biais préalable s'appuie sur un calibrage par lot: le système maintient une moyenne glissante des distributions prédites sur des données réelles et corrige le résultat avec une intensité de 0,75 après un minimum de huit exemples traités. Ce calcul coûte K préremplissages par décision, soit environ 0,25 seconde à un lot de 32 sur un GPU H100 pour K=20. Le niveau L1, plus gourmand, ajoute un calibrage par température nécessitant entre 100 et 500 étiquettes annotées par type de question. Sur un jeu de décisions typées, Qwen3-32B avec L1 atteint une erreur de calibration de 0,036, contre 0,144 pour Jev selon les chiffres publiés par TypeSafe AI, même si les modèles spécifiquement affinés comme Laya conservent encore l'avantage en précision brute.
Nokia, entreprise finlandaise, publie un outil open source qui pourrait être adopte par des équipes d'ingénierie européennes pour fiabiliser leurs systèmes de décision bases sur des LLM.
Nokia qui open source sa couche de calibration, c'est le genre de truc qu'on n'attendait pas d'eux mais qui règle un vrai problème de prod : lire les logits bruts d'un LLM pour trier des tickets, ça biaise sévère selon l'ordre des options ou le mot "oui" versus "non". Les chiffres sont nets, le taux d'inversion divisé par trois sur BANKING77, sans un euro de fine-tuning. Reste que L1, le niveau qui fait vraiment gagner en fiabilité, demande quand même 500 étiquettes annotées par type de question, donc le "sans entraînement" du titre, c'est un peu vite dit.