La fin des paramètres : Jie Tang (Z.ai) sur GLM 5.3 et la nouvelle loi d'échelle du post-entraînement
Jie Tang, PDG de Z.ai, a publié le 19 août 2026 sur X une analyse détaillée sur GLM 5.3, affirmant que le nombre de paramètres ne suffit plus à juger la puissance d'un modèle : il faut désormais l'associer au volume de données d'entraînement, à la répartition du calcul et aux conditions réelles de déploiement. Le contexte s'y prête : avec 134 jours restant dans l'année, deux modèles de 2 à 3 mille milliards de paramètres existent déjà, Qwen 3.8 Max et Kimi K3, tandis que les estimations situent le futur modèle Fable entre 3 et 7 mille milliards de paramètres pour seulement deux points d'avance sur l'index AA. Les progrès de GLM 5.3 viennent entièrement d'un entraînement par renforcement sur des environnements à horizon long, calqués sur des workflows professionnels réels, certaines tâches représentant plusieurs jours de travail pour un ingénieur expérimenté. Dans un exemple d'infrastructure de machine learning, le modèle reçoit l'accès à des clusters de calcul, du stockage, de la documentation interne, du code et des résultats d'expériences, et doit diagnostiquer des goulots d'étranglement, appliquer des optimisations et livrer un gain de performance mesurable sans casser la correction du système. Ces environnements sont générés de façon synthétique par des agents de recherche qui transforment des schémas de tâches réelles en environnements exécutables à dépendances multiples, puis validés par un agent juge sans accès à la solution de référence, à travers des contrôles oracle, no-op et état non résolu produisant une récompense binaire fiable.
Résumé et traduction réalisés par Le Fil IA à partir de Latent Space. Lire l'article original →
Cette bascule change la façon de mesurer le progrès en intelligence artificielle : la mémorisation profite toujours d'un plus grand nombre de paramètres, mais le raisonnement dépend surtout du volume de données de post-entraînement et de la profondeur effective du modèle. Des compétences avancées, comme la détection de vulnérabilités logicielles, exigent de tenir des chaînes causales longues, plus de vingt étapes d'inférence, sans perdre le fil, une aptitude qui ne progresse plus avec la taille brute du modèle une fois un certain seuil de connaissances atteint. Pour l'industrie, cela signifie que la compétition ne se joue plus uniquement sur l'échelle des modèles mais sur la qualité et la diversité des environnements d'entraînement, un chantier technique nouveau qui redistribue l'avantage compétitif vers les équipes capables de produire des bancs de test réalistes et vérifiables à grande échelle.
Jie Tang propose cinq leviers de dimensionnement, dont une nouvelle notation de sparsité pour les modèles à mélange d'experts appelée XA-YB. Ce débat s'inscrit dans le prolongement des lois d'échelle de Chinchilla, dont les hypothèses ne tiennent plus dans un monde dominé par l'inférence, où le ratio de tokens par paramètre varie de 200 à 900 selon la tâche, en référence aux travaux de Roberts et ses coauteurs. En parallèle, d'autres familles de modèles ouverts progressent, comme Ornith 1.5, publié en versions denses de 9 milliards de paramètres et en mélanges d'experts de 35 et 397 milliards sous licence MIT, avec des formats quantifiés FP8, GGUF, MLX et NVFP4. Ces informations sont issues de la newsletter AI News de Latent Space, qui a passé en revue douze subreddits et 544 comptes Twitter pour la période du 18 au 19 août 2026.
Pas d'impact direct sur la France/UE