Tutoriel : faire tourner PrismML Bonsai LLM 1-bit sur CUDA avec GGUF, benchmarks, chat, JSON et RAG

Faire tourner les modèles de raisonnement Qwen3.5 distillés façon Claude en GGUF avec quantification 4 bits

Des développeurs ont publié un tutoriel détaillé expliquant comment déployer les modèles Qwen3.5 distillés avec le style de raisonnement de Claude — notamment les variantes 27B en format GGUF et 2B en quantification 4 bits — directement dans Google Colab. Le pipeline proposé permet de basculer entre les deux variantes via un simple indicateur booléen, offrant ainsi une flexibilité rare entre puissance de raisonnement et contraintes matérielles. Le modèle 27B, hébergé sur Hugging Face sous l'identifiant Jackrong/Qwen3.5-27B-Claude-4.6-Opus-Reasoning-Distilled-GGUF, pèse environ 16,5 Go une fois compressé en Q4KM, tandis que la version 2B s'appuie sur les librairies transformers et bitsandbytes pour une empreinte mémoire bien plus légère. Les deux chemins d'exécution sont unifiés derrière des interfaces communes generatefn et streamfn, auxquelles s'ajoute une classe ChatSession gérant les conversations multi-tours et un parseur de traces ` pour séparer explicitement le raisonnement intermédiaire de la réponse finale. Ce type d'implémentation ouvre concrètement l'accès à des modèles de raisonnement avancés à des développeurs qui ne disposent pas d'infrastructure dédiée. La quantification 4 bits permet de faire tourner un modèle de 27 milliards de paramètres sur un simple GPU T4 de Colab, ce qui était inaccessible il y a encore deux ans. La possibilité d'inspecter les traces de raisonnement — les chaînes de pensée encapsulées dans les balises ` — est particulièrement précieuse pour le débogage, l'évaluation et la recherche sur les comportements des LLM. Pour les équipes souhaitant intégrer du raisonnement structuré dans leurs applications sans dépendre d'API propriétaires, cette approche locale représente une alternative sérieuse. Ce tutoriel s'inscrit dans une tendance de fond : la distillation de comportements propres aux grands modèles commerciaux vers des modèles open source plus petits et autonomes. Qwen3.5, développé par Alibaba, fait partie des modèles open weight les plus performants du moment, et sa distillation avec le style de raisonnement de Claude 4.6 Opus illustre comment les techniques d'entraînement des laboratoires de pointe — Anthropic en tête — se diffusent rapidement dans l'écosystème ouvert. La quantification GGUF via llama.cpp, couplée aux outils Hugging Face, est désormais la voie standard pour démocratiser ces modèles. La prochaine étape naturelle sera l'intégration de ces pipelines dans des agents autonomes capables de raisonner en plusieurs étapes sur des tâches complexes, sans appel à des services cloud.

Tutoriel : affiner LFM2 avec QLoRA et DPO sur Google Colab

Liquid AI a publié LFM2, un modèle de langage conçu pour fonctionner efficacement sur des appareils à ressources limitées, et un tutoriel complet détaille désormais comment le personnaliser sur Google Colab via une chaîne d'outils entièrement open source. Le workflow s'appuie sur QLoRA (Quantized Low-Rank Adaptation), qui permet de charger le modèle en précision 4 bits via bitsandbytes, réduisant drastiquement l'empreinte mémoire GPU. On part du checkpoint de base LFM2-1.2B, disponible sur Hugging Face sous l'identifiant LiquidAI/LFM2-1.2B, pour enchaîner deux étapes d'entraînement : d'abord un ajustement supervisé (SFT) sur 500 exemples du dataset HuggingFaceTB/smoltalk en 60 étapes, puis un alignement par préférences via DPO (Direct Preference Optimization) en 40 étapes supplémentaires. Les bibliothèques utilisées sont transformers (version 4.55 minimum), TRL, PEFT, accelerate et datasets. Un adaptateur LoRA de rang 16 est entraîné puis fusionné dans le modèle, produisant un checkpoint prêt au déploiement. Ce type de pipeline démocratise concrètement la personnalisation de modèles pour des développeurs sans infrastructure dédiée : l'ensemble du processus tient sur un GPU Colab gratuit ou pro, là où un fine-tuning classique nécessiterait plusieurs GPU A100. La combinaison SFT + DPO représente aujourd'hui la méthode de référence pour obtenir un modèle à la fois instruit (qui suit des consignes) et aligné (qui préfère des réponses de qualité à des réponses médiocres). L'intérêt particulier de LFM2 réside dans son architecture optimisée pour l'inférence on-device, ce qui rend ce tutoriel utile non seulement pour le prototypage cloud, mais aussi pour préparer des modèles embarqués sur mobile ou edge hardware. Liquid AI est une startup fondée en 2023 par des chercheurs du MIT, connue pour ses modèles Liquid Foundation Models (LFM) basés sur des architectures d'équations différentielles neuronales, alternatives aux transformeurs classiques. LFM2 marque une nouvelle génération de ces modèles, avec un accent mis sur l'efficacité computationnelle. Le recours à DPO plutôt qu'au classique RLHF (Reinforcement Learning from Human Feedback) s'inscrit dans une tendance forte depuis 2023 : DPO élimine le modèle de récompense intermédiaire, simplifiant l'entraînement tout en produisant des résultats comparables. La mise à disposition de ce guide complet avec code exécutable sur Colab s'inscrit dans une dynamique plus large de démocratisation du fine-tuning, portée par Hugging Face et la communauté open source, face aux modèles propriétaires d'OpenAI ou Anthropic qui restent des boîtes noires non personnalisables.

PrismML lance Bonsai 27B : versions 1-bit et ternaire de Qwen3.6-27B pour ordinateurs portables et smartphones

PrismML a publié Bonsai 27B, une compression à très basse précision du modèle Qwen3.6-27B, sans nouvel entraînement ni changement d'architecture. Deux versions sont proposées sous licence Apache 2.0 : une variante ternaire, avec des poids à trois valeurs (-1, 0, +1) pour une précision réelle de 1,71 bit par poids et un poids total de 5,9 Go, et une variante binaire à deux valeurs (-1, +1), à 1,125 bit par poids pour seulement 3,9 Go. Les deux modèles restent multimodaux, avec environ 24,8 milliards de paramètres pour la partie langage, 0,46 milliard pour la tour de vision (conservée en 4 bits via HQQ) et 2,5 milliards pour les embeddings et la tête de sortie. Le contexte atteint 262 000 tokens, rendu praticable par le fait qu'environ 75% des mécanismes d'attention de Qwen3.6-27B sont linéaires. La compression repose sur une échelle FP16 partagée par groupe de 128 poids, ce qui donne une réduction d'environ 9,4 fois par rapport au FP16 pour la version ternaire et 14,2 fois pour la version binaire, appliquée aux embeddings, projections d'attention, projections MLP et à la tête du modèle. Sur 15 benchmarks évalués en mode réflexion via EvalScope sur GPU H100, la version ternaire conserve 94,6% des performances du modèle FP16 d'origine, et la version binaire 89,5%, avec des scores moyens de 80,49 et 76,11 contre 85,07 pour la référence. C'est significatif car les méthodes de quantification classiques s'effondrent bien plus brutalement à des précisions comparables : la version IQ2_XXS de Qwen3.6-27B, à 2,8 bits par poids, chute à 57,5 sur AIME26 et 56,4 sur LiveCodeBench, tout en maintenant un score trompeur de 88,93 sur MMLU-Redux, ce qui masque l'effondrement réel des capacités. Cette robustesse ouvre la voie à faire tourner des modèles de 27 milliards de paramètres directement sur des appareils grand public, téléphones et ordinateurs portables compris, là où la mémoire disponible est la vraie contrainte : un iPhone avec 12 Go de RAM n'expose qu'environ 6 Go à une application, et le cache KV pour une fenêtre de 262 000 tokens peut à lui seul atteindre 17,2 Go en FP16, contre 4,3 Go une fois compressé en 4 bits. Ces contraintes mémoire expliquent pourquoi PrismML mise sur la densité plutôt que sur la seule taille du modèle, avec des débits mesurés sur plusieurs plateformes : la variante binaire atteint 66,4 tokens par seconde sur un Mac M5 Max et 11 tokens par seconde sur un iPhone 17 Pro Max, contre 104,8 sur un H100. L'entreprise propose aussi un mécanisme de décodage spéculatif nommé DSpark, entraîné spécifiquement pour accompagner Bonsai 27B, qui accélère la génération de 1,37 fois sur H100 sans perte de qualité, la vérification restant strictement fidèle à la distribution du modèle original. Cette approche s'inscrit dans une tendance plus large de la recherche en IA à repousser les limites de la quantification agressive, à rebours de méthodes comme BitNet qui nécessitent un réentraînement complet dès l'origine pour éviter l'effondrement des performances.

💬 Le vrai scoop ici, c'est que MMLU-Redux ment : IQ2_XXS affiche encore 88,93 sur ce benchmark pendant qu'il s'effondre à 57,5 sur AIME26, preuve qu'on mesure la casse de la quantification avec le mauvais outil depuis des années. Bonsai 27B, lui, tient 94,6% des perfs à 1,71 bit par poids sans réentraînement, et ça déplace le vrai goulot d'étranglement du calcul vers la RAM disponible sur ton téléphone. Bon, sur le papier ça fait rêver un 27B qui tourne en local, reste à voir si ça tient hors labo.

GLM-5.2 de Zhipu AI rivalise avec les meilleurs modeles propriétaires sur les benchmarks de codage

Le laboratoire chinois Zhipu AI a publié GLM-5.2, un nouveau modèle de langage open source distribué sous licence MIT. Le modèle supporte une fenêtre de contexte stable d'un million de tokens, ce qui lui permet de traiter des projets logiciels entiers en une seule session. Sur le benchmark FrontierSWE, conçu pour évaluer les performances sur des tâches de programmation longues de plusieurs heures, GLM-5.2 n'affiche qu'un point de pourcentage de retard sur Claude Opus 4.8 d'Anthropic, l'un des modèles fermés les plus performants du moment dans cette catégorie. C'est un résultat significatif pour l'écosystème open source : un modèle librement accessible et modifiable parvient à rivaliser avec les systèmes propriétaires sur des tâches de développement logiciel complexes et de longue durée. Pour les entreprises et développeurs indépendants, cela signifie un accès à des capacités de codage avancées sans dépendance à des API payantes ni contraintes de confidentialité des données. Le fait que GLM-5.2 soit sous licence MIT le rend également librement utilisable dans des produits commerciaux. Les limites restent réelles : en raisonnement général, GLM-5.2 accuse encore un retard notable face aux modèles fermés comme GPT-4o ou Claude Opus. Zhipu AI s'inscrit dans une vague de laboratoires chinois, aux côtés de DeepSeek, Qwen ou Baichuan, qui rattrapent progressivement les leaders occidentaux sur des domaines ciblés. L'enjeu est désormais de savoir si cette convergence sur le code va s'étendre aux capacités cognitives plus larges, et à quel rythme.