GGUF, GPTQ, AWQ, EXL2 : les formats de modèles LLM expliqués (2026)
Le paysage des formats de modèles de langage s'est structuré autour de deux couches distinctes trop souvent confondues : les conteneurs de stockage et les méthodes de quantification. Parmi les conteneurs figurent Safetensors, développé par Hugging Face et désormais intégré comme projet de la PyTorch Foundation, GGUF, ainsi que les anciens fichiers pickle de PyTorch (.bin, .pt). Les méthodes de compression des poids, elles, comprennent GPTQ, AWQ, la technique NF4 de bitsandbytes, ainsi que les K-quants et I-quants de llama.cpp. GGUF a été créé par Georgi Gerganov, également responsable du projet llama.cpp, et introduit le 21 août 2023 pour remplacer l'ancien format GGML, qui ne pouvait pas identifier l'architecture d'un modèle et cassait sa compatibilité dès qu'un nouveau paramètre était ajouté. Concrètement, la mémoire nécessaire pour stocker les poids se calcule par la formule nombre de paramètres multiplié par les bits par poids, divisé par huit : un modèle de 8 milliards de paramètres occupe environ 16 Go en 16 bits contre 4,5 Go avec une quantification à 4,5 bits par poids, tandis qu'un modèle de 70 milliards passe de 140 Go à environ 39 Go dans les mêmes conditions.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de MarkTechPost. Lire l'article original →
Ces choix de format ont des conséquences directes pour quiconque déploie des modèles de langage en local ou à grande échelle. Les anciens fichiers pickle (.bin, .pt) peuvent exécuter du code arbitraire au chargement, ce qui expose les utilisateurs de modèles non vérifiés à un risque de sécurité réel, un problème que Safetensors élimine en limitant les fichiers à un en-tête JSON et des tenseurs bruts sans contenu exécutable. Le choix d'une quantification adaptée permet quant à lui de faire tourner des modèles de plusieurs dizaines de milliards de paramètres sur du matériel grand public, en réduisant drastiquement l'empreinte mémoire au prix d'une perte de précision variable selon la technique retenue. Pour les développeurs, comprendre ces nuances évite des choix coûteux en performance ou en sécurité, notamment lors du déploiement de modèles open source récupérés sur des plateformes comme Hugging Face.
Cette complexité reflète la maturation rapide de l'écosystème des modèles ouverts depuis 2023, porté par des acteurs comme Hugging Face et la communauté llama.cpp. GGUF a été conçu autour de cinq objectifs explicites : déploiement en fichier unique, extensibilité, compatibilité avec le memory-mapping, simplicité de chargement et autosuffisance, incluant tokenizer et modèles de chat directement dans le fichier. Le format continue d'évoluer avec l'ajout récent de types comme TQ10 et TQ20 pour les poids ternaires, ou MXFP4, un format flottant à micro-échelle sur 4 bits. Cette diversification traduit une course continue entre performance, compacité et fidélité, à mesure que les modèles open source gagnent en taille et en adoption face aux offres propriétaires.
Pas d'impact direct sur la France/UE
Ce qui change vraiment, c'est que GGUF règle un problème de sécurité concret : les anciens fichiers pickle pouvaient exécuter du code au chargement, et ça, sur un modèle random choppé sur Hugging Face, c'est un vrai risque. Après, la partie quantification c'est surtout de l'arbitrage mémoire, rien de magique : un 70B qui passe de 140 à 39 Go, c'est ce qui permet à un particulier de le faire tourner chez lui, pas une prouesse technique en soi. Reste que confondre conteneur et compression, c'est le genre d'erreur qui fait choisir le mauvais format et perdre des points de précision pour rien.