PrismML lance Bonsai 27B : versions 1-bit et ternaire de Qwen3.6-27B pour ordinateurs portables et smartphones
PrismML a publié Bonsai 27B, une compression à très basse précision du modèle Qwen3.6-27B, sans nouvel entraînement ni changement d'architecture. Deux versions sont proposées sous licence Apache 2.0 : une variante ternaire, avec des poids à trois valeurs (-1, 0, +1) pour une précision réelle de 1,71 bit par poids et un poids total de 5,9 Go, et une variante binaire à deux valeurs (-1, +1), à 1,125 bit par poids pour seulement 3,9 Go. Les deux modèles restent multimodaux, avec environ 24,8 milliards de paramètres pour la partie langage, 0,46 milliard pour la tour de vision (conservée en 4 bits via HQQ) et 2,5 milliards pour les embeddings et la tête de sortie. Le contexte atteint 262 000 tokens, rendu praticable par le fait qu'environ 75% des mécanismes d'attention de Qwen3.6-27B sont linéaires. La compression repose sur une échelle FP16 partagée par groupe de 128 poids, ce qui donne une réduction d'environ 9,4 fois par rapport au FP16 pour la version ternaire et 14,2 fois pour la version binaire, appliquée aux embeddings, projections d'attention, projections MLP et à la tête du modèle.
Résumé et traduction réalisés par Le Fil IA à partir de MarkTechPost. Lire l'article original →
Sur 15 benchmarks évalués en mode réflexion via EvalScope sur GPU H100, la version ternaire conserve 94,6% des performances du modèle FP16 d'origine, et la version binaire 89,5%, avec des scores moyens de 80,49 et 76,11 contre 85,07 pour la référence. C'est significatif car les méthodes de quantification classiques s'effondrent bien plus brutalement à des précisions comparables : la version IQ2_XXS de Qwen3.6-27B, à 2,8 bits par poids, chute à 57,5 sur AIME26 et 56,4 sur LiveCodeBench, tout en maintenant un score trompeur de 88,93 sur MMLU-Redux, ce qui masque l'effondrement réel des capacités. Cette robustesse ouvre la voie à faire tourner des modèles de 27 milliards de paramètres directement sur des appareils grand public, téléphones et ordinateurs portables compris, là où la mémoire disponible est la vraie contrainte : un iPhone avec 12 Go de RAM n'expose qu'environ 6 Go à une application, et le cache KV pour une fenêtre de 262 000 tokens peut à lui seul atteindre 17,2 Go en FP16, contre 4,3 Go une fois compressé en 4 bits.
Ces contraintes mémoire expliquent pourquoi PrismML mise sur la densité plutôt que sur la seule taille du modèle, avec des débits mesurés sur plusieurs plateformes : la variante binaire atteint 66,4 tokens par seconde sur un Mac M5 Max et 11 tokens par seconde sur un iPhone 17 Pro Max, contre 104,8 sur un H100. L'entreprise propose aussi un mécanisme de décodage spéculatif nommé DSpark, entraîné spécifiquement pour accompagner Bonsai 27B, qui accélère la génération de 1,37 fois sur H100 sans perte de qualité, la vérification restant strictement fidèle à la distribution du modèle original. Cette approche s'inscrit dans une tendance plus large de la recherche en IA à repousser les limites de la quantification agressive, à rebours de méthodes comme BitNet qui nécessitent un réentraînement complet dès l'origine pour éviter l'effondrement des performances.
Pas d'impact direct sur la France/UE
Le vrai scoop ici, c'est que MMLU-Redux ment : IQ2_XXS affiche encore 88,93 sur ce benchmark pendant qu'il s'effondre à 57,5 sur AIME26, preuve qu'on mesure la casse de la quantification avec le mauvais outil depuis des années. Bonsai 27B, lui, tient 94,6% des perfs à 1,71 bit par poids sans réentraînement, et ça déplace le vrai goulot d'étranglement du calcul vers la RAM disponible sur ton téléphone. Bon, sur le papier ça fait rêver un 27B qui tourne en local, reste à voir si ça tient hors labo.