Hot Chips : le Jalapeño d'OpenAI, le CS-5 de Cerebras, le LPX de Groq 3 et l'Apple M6
Lors de la 37e édition de la conférence Hot Chips, OpenAI a dévoilé les premiers résultats de benchmarks de sa propre puce d'inférence, baptisée Jalapeño, moins d'un an après avoir annoncé son partenariat avec Broadcom pour concevoir des semi-conducteurs maison. Selon les chiffres publiés par l'entreprise, la puce affiche un rendement de 1,5 à 1,9 fois supérieur par watt, une latence de bout en bout réduite de 1,7 à 3,6 fois, et des performances jusqu'à 4,1 fois plus élevées sur les charges de travail interactives, comparée aux systèmes Nvidia GB200 et GB300. Classée pour une puissance de 700 watts, Jalapeño serait restée à 550 watts ou moins lors des tests réels. OpenAI prévoit de déployer la puce dans sa propre infrastructure d'ici la fin de l'année, avec une deuxième génération déjà bien avancée et une troisième en préparation, selon Sam Altman et les communications officielles de l'entreprise. Autre détail marquant, les modèles GPT-Astra et Codex ont directement participé à l'écriture et à l'optimisation des noyaux de calcul bas niveau de la puce, permettant de porter trois modèles à poids ouverts à haute performance en seulement deux mois, avec certains blocs d'attention et de mélange d'experts jusqu'à 1,8 fois plus rapides que le code écrit par des ingénieurs humains. La même conférence a aussi vu passer des annonces de Cerebras avec son CS-5, de Groq avec la puce 3 LPX, et d'Apple avec le M6.
Résumé et traduction réalisés par Le Fil IA à partir de Latent Space. Lire l'article original →
L'enjeu dépasse la simple performance brute. En réduisant l'habituel compromis entre débit et latence, OpenAI signale que les grands laboratoires d'intelligence artificielle ne sont plus forcément dépendants de Nvidia pour l'économie de leurs coûts d'inférence, un poste de dépense devenu central à mesure que les modèles sont déployés à grande échelle auprès de millions d'utilisateurs. Cela pourrait rebattre les cartes d'un marché des puces d'IA aujourd'hui largement dominé par Nvidia, en particulier si d'autres laboratoires suivent cette voie de la conception interne. Le fait que des modèles comme GPT-Astra et Codex participent eux-mêmes à l'optimisation du code bas niveau illustre aussi une tendance plus large, celle de l'automatisation croissante du travail d'ingénierie logicielle et matérielle par l'IA elle-même.
Cette annonce s'inscrit dans la continuité du partenariat OpenAI-Broadcom révélé il y a moins d'un an, et des analystes comme ceux de SemiAnalysis ont jugé les résultats inhabituellement solides pour un circuit spécialisé de première génération, le comparant directement aux futures gammes Blackwell et Rubin de Nvidia. Un bémol de taille subsiste toutefois, la capacité de packaging avancé et de fabrication chez des fondeurs comme TSMC reste un goulot d'étranglement pour toute l'industrie. La conférence a par ailleurs mis en lumière une autre tendance de fond, celle de l'importance croissante des architectures logicielles entourant les modèles d'IA: une étude menée par Microsoft sur un système nommé AutoSaddler a montré que corriger automatiquement les invites, la configuration des outils et la logique de contrôle d'un agent pouvait apporter des gains de 9 à 10 points sur des tests comme GAIA2, SWE-Bench Pro et Terminal-Bench 2.0, parfois davantage que ne le ferait un changement de modèle sous-jacent.
La bataille des puces IA entre OpenAI, Nvidia, Cerebras et Groq pourrait a terme influencer les couts d'infrastructure IA disponibles aux entreprises européennes, mais sans impact direct sur la France ou l'UE.