Groq 3 LPX : un rack d’inférence qui fait fondre la latence des LLM
Groq a dévoilé lors du GTC 2026 le Groq 3 LPX, un rack d'inférence conçu pour répondre aux nouvelles exigences des systèmes agentiques autonomes. Ce châssis ultra-dense regroupe 256 accélérateurs LPU Groq 3 dans une architecture entièrement dédiée à la génération de tokens pour les grands modèles de langage. Sa particularité la plus radicale est d'abandonner toute mémoire HBM externe au profit de 500 Mo de SRAM intégrée directement sur chaque puce, ce qui lui permet d'atteindre une bande passante mémoire de 150 To/s par accélérateur. Le système s'intègre à l'écosystème Vera Rubin de NVIDIA et doit être disponible commercialement au troisième trimestre 2026. Les fournisseurs cloud préparent déjà leurs centres de données en conséquence. Ce choix architectural répond à un problème concret qui freine aujourd'hui le déploiement massif d'agents IA : la latence. Les GPU classiques, pensés pour l'entraînement en parallèle massif, introduisent des délais irréguliers lors de l'inférence séquentielle, ce qui rend les interactions en temps réel imprévisibles. En éliminant les goulots d'étranglement liés aux accès mémoire externe, le Groq 3 LPX garantit une cadence de traitement régulière et prévisible, un impératif pour les applications critiques comme les assistants vocaux, les agents de code ou les systèmes de décision automatisée. Pour les équipes d'ingénierie qui déploient ces architectures en production, la stabilité du débit compte autant que sa vitesse brute. La trajectoire de Groq illustre une tendance de fond dans l'industrie du semi-conducteur : la spécialisation matérielle poussée à l'extrême. Depuis sa fondation, la société mise sur les LPU (Language Processing Units) comme alternative aux GPU pour l'inférence, un pari longtemps marginal qui prend aujourd'hui de l'ampleur avec la montée des modèles de plusieurs dizaines de milliards de paramètres. L'intégration dans l'écosystème NVIDIA via Vera Rubin signal également un rapprochement stratégique entre acteurs qui auraient pu rester concurrents directs. L'essor des agents autonomes, capables de chaîner des dizaines d'appels LLM en quelques secondes, crée une demande d'infrastructure que ni les GPU ni les API cloud généralistes ne satisfont pleinement. Le Groq 3 LPX se positionne sur ce segment encore ouvert, aux côtés de concurrents comme Cerebras ou SambaNova, dans une course où la latence est devenue la nouvelle métrique dominante.
