Z.ai GLM-Legal devance Claude Fable 5 et Kimi K3 sur le benchmark Harvey LAB
Z.ai a lancé GLM-Legal, un modèle d'IA juridique dérivé de GLM-5.3-Flash et entraîné pour des tâches d'agent dans le domaine du droit : revue de contrats, analyse de preuves et recherche en conformité. Son résultat phare est un taux de réussite intégrale de 19,17 % sur le Legal Agent Benchmark (LAB) de Harvey, soit près de trois fois les 6,67 % du modèle de base. Ce benchmark open source compte 1 250 tâches réparties sur 24 domaines du droit, notées selon plus de 75 000 critères rédigés par des experts. Une tâche n'est validée que si tous ses critères le sont. Vals AI a exécuté l'évaluation sur l'ensemble réservé, avec deux juges LLM et sans accès à internet. GLM-Legal y prend la 7e place sur 79, devant Kimi K3 (12,92 %), Claude Fable 5 (11,25 %) et GPT-6 Astra (5,42 %). Il valide aussi 92,5 % des critères pris individuellement. Sur LegalBench, il obtient 86,23 %, contre 88,56 % pour Claude Fable 5, le leader, et 86,21 % pour Kimi K3.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de MarkTechPost. Lire l'article original →
Le principal argument est le coût. Un test Harvey LAB revient à environ 0,15 dollar avec GLM-Legal, contre 3,83 dollars pour Kimi K3, 19,23 dollars pour Claude Fable 5 et 26,16 dollars pour GPT-6 Astra, soit environ 128 fois moins que Claude Fable 5. Pour les cabinets d'avocats, les directions juridiques et les équipes de conformité, cela rend envisageable l'automatisation de tâches longues et volumineuses. Les limites sont réelles. L'accès à l'API se fait uniquement sur candidature, sans tarif publié ni poids publics. Chaque tâche prend en moyenne 1 h 12, contre 14 minutes pour Kimi K3. Sur le Legal Research Bench de Vals AI, GLM-Legal recule à 41,83 %, sous son modèle de base (45,19 %). Le graphique de lancement de Z.ai omet en outre six modèles mieux classés, dont Muse Spark 1.2 en tête avec 25,42 %.
Le modèle de base est le premier GLM-5 nativement multimodal de Z.ai. Il compte 320 milliards de paramètres au total, dont 18 milliards actifs, en architecture de mélange d'experts. Il offre un contexte d'un million de jetons, jusqu'à 128 000 jetons en sortie, et combine attention éparse et linéaire pour réduire le coût de service sur les longs contextes. Z.ai ne précise pas de nombre de paramètres propre à GLM-Legal. L'entraînement s'est fait en deux temps : un pré-entraînement intermédiaire sur des corpus juridiques élargis, pour renforcer le raisonnement des faits vers les règles puis la conclusion, suivi d'un apprentissage par renforcement dans des dizaines de milliers d'environnements de tâches juridiques. Z.ai explique avoir fait évoluer l'infrastructure d'agent en parallèle du modèle : les cas limites révélaient des goulots d'étranglement, et leur correction exposait ensuite le modèle à des contraintes plus réalistes. Z.ai affirme aussi une parité sur LegalBench et sur PLawBench, centré sur le droit chinois, sans publier de chiffres pour ce dernier. L'initiative s'inscrit dans la course aux modèles spécialisés par métier, où les laboratoires chinois misent sur le rapport qualité-prix face aux acteurs américains.
Pas d\'impact direct sur la France/UE