OpenAI affirme que sa puce Jalapeño accélère les réponses IA plus que la concurrence
OpenAI a annoncé mardi, dans un billet de blog, que sa nouvelle puce Jalapeño exécute les tâches d'intelligence artificielle plus efficacement et renvoie des réponses plus rapidement que les systèmes concurrents. Lors d'un point presse, Richard Ho, vice-président matériel d'OpenAI, a expliqué que Jalapeño offre "le meilleur des deux mondes", combinant une latence plus faible et un débit plus élevé, alors que les systèmes d'IA doivent habituellement choisir entre ces deux critères. Présentée pour la première fois en juin, Jalapeño est un circuit intégré spécifique à une application (ASIC) développé en partenariat avec le fabricant de semi-conducteurs Broadcom. Elle est conçue pour l'inférence, c'est-à-dire l'exécution d'un modèle déjà entraîné afin d'accomplir une tâche ou de faire tourner un agent, plutôt que pour l'entraînement des modèles eux-mêmes.
Résumé et traduction réalisés par Le Fil IA à partir de The Verge AI. Lire l'article original →
Ce gain de performance a une portée concrète pour des dizaines de millions d'utilisateurs de ChatGPT et pour les entreprises qui s'appuient sur les API d'OpenAI, puisque des réponses plus rapides et un traitement plus efficace se traduisent directement par une meilleure expérience et des coûts d'exploitation réduits. En concevant ses propres puces plutôt qu'en dépendant uniquement des processeurs graphiques de Nvidia, OpenAI cherche aussi à reprendre la main sur ses coûts d'infrastructure et sa chaîne d'approvisionnement, dans un secteur où la demande en puissance de calcul explose plus vite que l'offre.
Cette démarche s'inscrit dans une tendance plus large des grands acteurs de l'IA à concevoir du silicium sur mesure, à l'image de Google avec ses puces TPU, d'Amazon avec Trainium ou de Microsoft avec Maia. Le partenariat avec Broadcom, révélé publiquement plus tôt cette année, doit permettre à OpenAI de déployer Jalapeño à grande échelle dans ses centres de données, tout en continuant de s'appuyer sur Nvidia pour une partie de ses besoins.
Pas d'impact direct sur la France/UE