Zyphra ZYFA : FlashAttention en FP8 pour l'AMD MI355X, jusqu'à 1,76 fois plus rapide
Zyphra a publié ZYFA (Zyphra FlashAttention on AMD), un ensemble de noyaux d'attention FP8 et BF16 pour la phase de prefill, conçu pour les GPU AMD Instinct MI355X et distribué en open source sous licence Apache 2.0. Sur des activations de modèles réels, les noyaux FP8 tournent 1,16 à 1,76 fois plus vite qu'AITER, la bibliothèque de noyaux par défaut d'AMD, avec une erreur FP8 inférieure de 62 à 78 % pour une dimension de tête de 128. Le meilleur résultat atteint 2 672 TFLOP/s en FP8 pour 32 000 tokens, soit 53 % du pic théorique FP8 (39 % pour AITER). Sur des benchmarks gaussiens, la forme MLA (192/128) atteint 2 464 TFLOP/s contre 1 237, soit un rapport de 1,99. Sur couches réelles à 16 000 tokens, les gains sont de 1,16x pour Mistral-7B, 1,17x pour Qwen3-8B et 1,76x pour DeepSeek-V2-Lite. En BF16, les performances sont quasi identiques (1,01 à 1,02x). Les noyaux BF16 sont écrits en HIP, tandis que les noyaux FP8 sont de l'assembleur ordonnancé à la main, produit par un générateur Python. ZYFA fonctionne uniquement sur MI355X (CDNA4, gfx950) avec ROCm 7.2.3 et PyTorch 2.12.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de MarkTechPost. Lire l'article original →
Ces résultats comptent pour quiconque exploite des modèles à contexte long sur du matériel AMD. Le prefill est l'étape coûteuse quand les prompts s'allongent, et ZYFA y gagne aussi en efficacité énergétique : 1,94 et 1,91 TFLOP/J sur des couches de Mistral-7B et Qwen3-8B, contre 1,60 et 1,56 pour AITER. La précision progresse également : face à une référence en fp64, l'erreur de ZYFA représente 0,22 fois celle d'AITER sur Mistral-7B et 0,38 fois sur Qwen3-8B, à quelques pourcents de Composable Kernel et Triton. Sur le modèle Mistral-7B complet, la divergence KL par rapport au fp64 est de 3,4×10⁻³ avec ZYFA contre 5,9×10⁻³ avec AITER, et les sorties sont identiques au bit près sur 7 200 lancements. Le moteur alimente aussi l'optimiseur ZOE, qui fait tourner Zyphra Cloud.
Le contexte tient à un déséquilibre matériel. Les instructions matricielles FP8 vont deux fois plus vite qu'en BF16, mais seuls les deux produits matriciels (QKᵀ et PV) en profitent : le softmax, exécuté sur l'unité vectorielle, ne s'accélère pas. Pour 32 requêtes contre 128 clés, le calcul matriciel FP8 prend 1 024 cycles et le softmax exact 896, ce qui exige un recouvrement quasi parfait. Les traces de Zyphra montrent le pipeline matriciel d'AITER inactif 31,7 % du temps, car le MI355X ne suit pas l'achèvement des instructions matricielles en matériel. ZYFA répond par trois techniques. La première, « Lean P », exploite le fait qu'un motif e4m3 lu comme entier croît de 8 à chaque doublement de la valeur : une multiplication-addition remplace l'exponentielle, ramenant le softmax de 896 à 384 cycles par bloc. La deuxième est un ordonnancement « ping-pong » à deux vagues par SIMD, qui porte l'occupation du pipeline matriciel de 60 % à 86 %. La troisième met chaque bloc de 64 clés à l'échelle par une puissance de 2, grâce à l'instruction matricielle à échelle de CDNA4, et divise par la somme des probabilités arrondies. Les gains réels restent inférieurs à ceux des benchmarks, car la fréquence du MI355X dépend du nombre de bits qui basculent : sur Mistral-7B, ZYFA tourne à 1 628 MHz contre 2 108 MHz pour AITER, dont les petites probabilités deviennent zéros ou subnormaux. Zyphra recommande donc de tester sur activations réelles et à fréquence soutenue.
Pas d\'impact direct sur la France/UE