Google a peut-être réglé la crise de la mémoire vive (RAM) avec un algorithme
Google vient de dévoiler TurboQuant, un algorithme de quantification qui promet de diviser par six les besoins en mémoire vive des modèles d'intelligence artificielle. Une avancée potentiellement décisive à l'heure où la consommation mémoire des grands modèles de langage constitue l'un des principaux goulots d'étranglement du secteur.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de Numerama. Lire l'article original →
La crise de la RAM dans l'IA n'est pas anecdotique : elle conditionne directement le coût d'inférence, la scalabilité des déploiements cloud, et l'accessibilité des modèles sur du matériel grand public. Réduire drastiquement l'empreinte mémoire sans dégrader les performances ouvre la voie à des déploiements plus larges, moins coûteux, et potentiellement embarqués sur des appareils edge.
TurboQuant s'appuie sur une approche mathématique de compression des poids des réseaux de neurones, réduisant la précision numérique des paramètres tout en minimisant la perte de qualité. Le facteur annoncé de ×6 sur la consommation mémoire représenterait un bond significatif par rapport aux techniques de quantification existantes comme GPTQ ou AWQ, déjà largement utilisées dans l'industrie.
Si les résultats se confirment à grande échelle, Google pourrait redistribuer les cartes dans la course à l'efficience des LLMs, un terrain où Meta, Microsoft et les acteurs open-source rivalisent d'ingéniosité pour faire tourner des modèles toujours plus grands sur des infrastructures toujours plus contraintes.
Une réduction par six des besoins en RAM des modèles IA pourrait permettre aux entreprises et laboratoires européens de déployer des modèles plus puissants sur leur infrastructure existante, abaissant la barrière d'entrée pour la recherche et l'industrie IA en Europe.