Liquid AI dévoile LFM2.5-Encoder-230M et LFM2.5-Encoder-350M, des encodeurs bidirectionnels rapides jusqu'à 8K tokens de contexte sur CPU
Liquid AI a publié deux encodeurs bidirectionnels en poids ouverts, LFM2.5-Encoder-230M et LFM2.5-Encoder-350M, tous deux construits sur le socle hybride LFM2 et dotés d'une fenêtre de contexte de 8 192 tokens, soit environ 13 à 15 pages de texte en une seule passe. Ces modèles ne partent pas de zéro : ils sont initialisés à partir des backbones décodeurs LFM2.5-230M et LFM2.5-350M, puis convertis en trois étapes. Le masque d'attention causal est remplacé par un masque bidirectionnel permettant à chaque token de regarder dans les deux sens, les convolutions courtes de LFM2 sont rendues non causales grâce à un rembourrage symétrique centré, et l'entraînement utilise un objectif de modélisation de langage masqué avec un taux de masquage de 30 %, nettement plus dense que les 15 % de BERT. L'entraînement se déroule en deux phases : une première sur un contexte court de 1 024 tokens pour établir une compétence linguistique générale sur un vaste corpus web, puis une seconde étendant le contexte à 8 192 tokens sur l'ensemble des données, renforçant les compétences factuelles, juridiques et multilingues. Les deux modèles partagent une taille cachée de 1 024, un vocabulaire de 65 536 tokens, une couverture de 15 langues, et sont publiés sous licence LFM Open License v1.0.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de MarkTechPost. Lire l'article original →
Également couvert par HuggingFace Blog.
Sur le plan des performances, ces encodeurs se mesurent favorablement face à des modèles bien plus lourds. Évalués sur 17 tâches issues de GLUE, SuperGLUE et de la classification multilingue, aux côtés de 14 autres modèles entièrement affinés pour chaque tâche, LFM2.5-Encoder-350M obtient un score moyen de 81,02 (±1,00), se classant quatrième, juste derrière des modèles bien plus volumineux comme XLM-R XL (3,5 milliards de paramètres, 83,06) ou ModernBERT-large (395 millions, 81,68). LFM2.5-Encoder-230M, avec un score de 79,29 (±1,02), dépasse ModernBERT-base (78,19) ainsi que les modèles EuroBERT-610M (75,87) et EuroBERT-2,1B (72,19), pourtant bien plus gros. Fait notable, les deux nouveaux encodeurs surpassent même les propres modèles de recherche documentaire de Liquid AI, LFM2.5-ColBERT-350M et LFM2.5-Embedding-350M, ce qui justifie selon l'entreprise le développement d'un encodeur généraliste distinct. Cet écart de performance à taille égale, voire inférieure, illustre l'efficacité revendiquée de l'architecture LFM2 face à l'augmentation de la longueur des séquences traitées.
Ce lancement vise trois environnements concrets où la légèreté et la rapidité comptent plus que la puissance brute : les appareils embarqués et en périphérie de réseau, comme le calculateur d'une voiture ou un contrôleur industriel dépourvu de GPU et ne pouvant se permettre un aller-retour vers le cloud ; les systèmes réglementés et sur site dans la finance, la santé et le droit, où les documents sont longs, sensibles et ne peuvent quitter l'infrastructure interne ; et les chaînes de traitement à fort volume où un petit encodeur sert de premier filtre économique avant un modèle plus lourd. Liquid AI a par ailleurs rendu publique sa méthodologie d'évaluation sous licence Apache-2.0, avec des poids maîtres en fp32, un calcul en bf16, une recette d'optimisation AdamW commune à tous les modèles testés et une version figée de la bibliothèque transformers, autant de précautions destinées à garantir des comparaisons rigoureuses entre architectures plutôt qu'entre simples formats numériques.
Pas d'impact direct sur la France/UE