Zyphra présente Zyphra Hierarchical Attention (ZHA), une voie vers une attention vraiment sous-quadratique
Zyphra a publié Zyphra Hierarchical Attention (ZHA), une méthode d'attention parcimonieuse fondée sur un indexeur en arbre. Elle vise une faiblesse connue des approches sparses: l'indexeur qui sélectionne les tokens parcourt encore tout le contexte. Selon l'article technique de l'entreprise, ZHA peut être distillée dans des modèles préentraînés gelés avec environ 4 milliards de tokens, en n'ajoutant que 81 920 paramètres entraînables à Qwen3.6-35B-A3B (environ 0,00024 %). Le cache KV reste complet, l'arbre décidant seulement quelles clés chaque requête lit. Les clés sont découpées en blocs contigus, chacun résumé par une clé de synthèse issue de 16 requêtes de référence apprises, puis regroupé niveau par niveau. Avec des blocs de 4 et 6 niveaux, chaque nœud supérieur couvre 4 096 tokens. À l'inférence, une requête évalue les nœuds du haut, conserve le plus petit ensemble couvrant une fraction p de la masse d'attention estimée, puis n'étend que ces branches jusqu'aux entrées KV brutes. Le premier token est toujours conservé comme point d'ancrage.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de MarkTechPost. Lire l'article original →
Sur Qwen3.6-35B-A3B, avec p = 0,95, deux arbres ont été testés: un arbre profond (blocs de 4, 6 niveaux) et un arbre large (blocs de 256, 1 niveau). Face à l'attention dense, l'arbre profond obtient 91,2 contre 93,1 sur AIME 2026, 67,4 sur SWE-bench Verified (identique), 46,7 contre 49,9 sur Terminal-Bench 2.1, 85,3 contre 84,9 sur MMLU-Pro et 85,0 contre 84,8 sur GPQA Diamond. Sur RULER-13 à 256K, il atteint 93,3 contre 96,0, et l'arbre large 96,2. Sur LongBench v2, l'arbre profond monte à 63,4 % contre 58,0 % pour le dense en lisant environ 1,1 % des clés. Un indexeur MiniMax Sparse Attention, entraîné sur 40 milliards de tokens (dix fois le budget de ZHA), tombe à 77,1 % sur RULER-13 et 49,3 % sur LongBench v2. Tous ces chiffres sont publiés par Zyphra elle-même.
L'enjeu est le coût du long contexte. Les méthodes à état fixe, comme les modèles d'espace d'états ou les fenêtres glissantes, saturent quand le contexte s'allonge. Les méthodes sparses fines, comme DeepSeek Sparse Attention, rendent l'attention finale parcimonieuse mais évaluent chaque token passé: près d'un million de tokens, l'indexation représenterait 60 à 90 % du temps d'une couche. En rendant la recherche elle-même parcimonieuse, ZHA ouvre la voie à une attention réellement sous-quadratique. Le budget est adaptatif: une requête sur un fait isolé touche peu de branches, tandis qu'une requête nécessitant plusieurs faits dispersés en explore davantage. Sur 28 géométries d'arbres, la précision RULER reste stable en attendant 10 à 30 % des clés, et les arbres plus profonds tolèrent une parcimonie plus forte à compression égale. Un modèle à quatre paramètres prédit la précision RULER à partir de la géométrie avec une erreur quadratique moyenne de 1,44 point.
Des limites subsistent. Les accélérations annoncées proviennent d'une modélisation de type roofline sur H100 en BF16, et aucun noyau optimisé n'a été publié. Une variante de routeur en FP4 a aussi été testée. Sur Nemotron-3.5-Lightning-30B-A3B, un modèle sans encodage positionnel (NoPE), l'arbre profond perd 25,3 points sur RULER-13 par rapport au dense, ce qui montre que la méthode ne se transpose pas sans pertes à toutes les architectures. Le travail s'inscrit dans la course à l'efficacité du long contexte, où des acteurs comme DeepSeek et MiniMax proposent des indexeurs sparses concurrents. Reste à voir si des implémentations optimisées confirmeront les gains théoriques en conditions réelles.
Pas d'impact direct sur la France/UE
Selon Le Fil IA, la vraie bataille du long contexte ne se joue plus sur l'attention elle-même mais sur le coût de la recherche de ce qu'il faut lire : tant que l'indexeur parcourt tout, on déplace la facture sans la supprimer. Zyphra s'attaque exactement à ça avec son arbre, et 81 920 paramètres ajoutés à un modèle gelé, c'est presque indécent. Bon, sur le papier. Les gains de vitesse viennent d'un modèle théorique sur H100, sans noyau publié, et les 25 points perdus sur Nemotron sans encodage positionnel rappellent que ça ne se branche pas partout. Reste à voir si ça tient en prod.