InfrastructureAWS ML Blog1h

Fini le réglage manuel des kernels : Neuron Agentic Development accélère les optimisations AWS Trainium

Résumé IASource uniqueImpact UE

Amazon Web Services vient d'annoncer les capacités "Neuron Agentic Development", un ensemble d'agents IA et de compétences spécialisées conçues pour accélérer le développement de kernels sur ses puces Trainium et Inferentia. Ces outils permettent aux agents de développement comme Kiro et Claude d'écrire, déboguer et profiler automatiquement des kernels NKI (Neuron Kernel Interface), la couche logicielle bas niveau qui détermine l'efficacité réelle du matériel. Le package comprend cinq compétences distinctes suivant le pipeline naturel de développement : écriture, débogage, profilage et analyse. Concrètement, la compétence d'écriture traduit du code PyTorch, NumPy ou une simple description en langage naturel en kernels NKI corrects, en respectant les contraintes matérielles spécifiques comme les dimensions de partition de 128 éléments. La compétence de débogage couvre 28 codes d'erreur du compilateur Neuron, tandis que les outils de profilage génèrent des traces exploitables via neuron-explorer avec un détail au niveau des opérations DMA. Ces capacités s'intègrent directement dans des environnements comme VS Code, Cursor ou Kiro, et nécessitent une instance Amazon EC2 basée sur Trainium.

L'enjeu est considérable : l'écart entre les performances théoriques d'un accélérateur IA et ce qu'une équipe obtient réellement en pratique reste souvent énorme, faute de développeurs capables d'écrire des kernels matériels optimisés. Jusqu'ici, cette expertise demandait des années d'expérience au niveau de l'architecture des puces, rendant l'optimisation de bas niveau inaccessible à la majorité des équipes de machine learning. En automatisant cette couche via des agents IA, AWS permet à n'importe quel ingénieur ML de produire du code hardware-aware sans formation spécialisée, réduisant potentiellement le temps d'implémentation de plusieurs mois à quelques jours. Pour les équipes qui déploient des modèles à grande échelle, des gains même marginaux sur l'efficacité des kernels se traduisent directement en coûts d'inférence réduits et en meilleures latences pour les utilisateurs finaux.

Cette annonce s'inscrit dans la stratégie d'AWS de différencier ses puces maison face à Nvidia, dont les GPU H100 et H200 restent la référence dans l'industrie. Trainium et Inferentia existent depuis plusieurs années mais peinent à convaincre des équipes habituées à l'écosystème CUDA, bien établi et documenté. En abaissant la barrière d'entrée via l'automatisation agentique, Amazon cherche à élargir la base de développeurs prêts à migrer ou à tester ses accélérateurs. La question de la généralisation reste entière : ces capacités agentiques pourraient préfigurer une tendance plus large où chaque fabricant de silicium embarque son propre assistant IA pour faciliter l'adoption, transformant la guerre des puces en une guerre des outils de développement.

Dans nos dossiers

AWS CUDA NVIDIA Cursor

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

1Meta Engineering ML

Meta lance KernelEvolve, un agent IA pour optimiser les infrastructures d'entraînement

Meta a présenté KernelEvolve, un système d'optimisation de kernels piloté par intelligence artificielle, développé en interne pour accélérer ses modèles de publicité et d'IA générative. Intégré à l'agent Ranking Engineer Agent, KernelEvolve automatise la création et l'optimisation de kernels — ces programmes bas niveau qui traduisent les opérations de haut niveau d'un modèle en instructions spécifiques à chaque puce. Le système cible une infrastructure hétérogène composée de GPU NVIDIA, de GPU AMD, de CPU classiques et des puces MTIA, les accélérateurs personnalisés de Meta. Les résultats publiés sont substantiels : plus de 60 % d'amélioration du débit d'inférence pour le modèle publicitaire Andromeda sur GPU NVIDIA, et plus de 25 % de gain en débit d'entraînement sur les puces MTIA. Des travaux qui auraient normalement demandé plusieurs semaines à des ingénieurs spécialisés ont été accomplis en quelques heures. L'article associé sera présenté au 53e International Symposium on Computer Architecture (ISCA) 2026. L'enjeu est direct et massif : Meta sert chaque jour des milliards d'expériences alimentées par l'IA, des recommandations personnalisées aux assistants génératifs. Chaque requête d'entraînement ou d'inférence repose sur une couche de kernels hautement optimisés, et à mesure que les modèles gagnent en complexité et que le parc matériel se diversifie, le nombre de configurations possibles explose — atteignant des milliers de combinaisons selon le hardware, l'architecture du modèle et le type d'opérateur. L'optimisation manuelle par des experts ne peut plus suivre ce rythme, créant un goulot d'étranglement critique qui freine l'adoption de nouveaux matériels et ralentit les cycles d'itération des modèles. KernelEvolve résout ce problème en traitant l'optimisation comme une recherche automatisée : un environnement d'évaluation dédié teste chaque kernel candidat, renvoie les diagnostics au LLM, et pilote une exploration continue sur des centaines d'alternatives — dépassant les performances des kernels écrits à la main par des experts humains. Cette initiative s'inscrit dans une tendance de fond chez les grandes plateformes technologiques : déléguer des tâches d'ingénierie de bas niveau à des agents IA pour absorber la complexité croissante des infrastructures de calcul. Meta fait face à la même contrainte que Google, Microsoft ou Amazon — accélérer sans cesse les modèles tout en maîtrisant les coûts de calcul sur un parc matériel qui ne cesse de se diversifier. KernelEvolve génère des kernels dans des langages aussi bien de haut niveau comme Triton ou CuteDSL que de bas niveau comme CUDA, HIP ou MTIA C++, ce qui lui confère une portabilité rare. À terme, ce type d'agent pourrait devenir standard dans l'industrie, réduisant drastiquement le besoin d'ingénieurs spécialisés en optimisation matérielle et accélérant la mise en production de nouvelles architectures de modèles sur des puces encore inconnues.

InfrastructureActu

1 source

2Meta Engineering ML

Les agents IA unifiés de Meta optimisent les performances à grande échelle

Meta a développé une plateforme d'agents IA unifiée pour automatiser la détection et la résolution des problèmes de performance à l'échelle de son infrastructure mondiale, qui sert plus de 3 milliards d'utilisateurs. Ce programme, baptisé Capacity Efficiency Program, repose sur des agents capables d'encoder l'expertise de ses ingénieurs seniors en compétences réutilisables et composables. Résultat concret : des centaines de mégawatts (MW) de puissance électrique récupérés, soit de quoi alimenter des centaines de milliers de foyers américains pendant un an. L'outil interne FBDetect détecte chaque semaine des milliers de régressions de performance, et les agents IA prennent désormais en charge leur résolution automatisée, compressant environ dix heures d'investigation manuelle en trente minutes. Les agents vont même jusqu'à générer des pull requests prêtes à révision, couvrant l'intégralité du chemin depuis la détection d'une opportunité d'optimisation jusqu'à la correction du code. L'impact est double : économique et opérationnel. Côté défense, chaque régression non résolue rapidement se traduit par une consommation électrique supplémentaire qui s'accumule sur l'ensemble du parc de serveurs de Meta. Côté offensif, les agents permettent désormais d'explorer proactivement des optimisations dans un nombre croissant de domaines produits, des opportunités que les ingénieurs n'auraient jamais le temps de traiter manuellement. Le programme peut ainsi augmenter sa capacité de livraison de mégawatts sans augmenter proportionnellement les effectifs humains, ce qui représente un levier de scalabilité majeur pour une infrastructure de cette taille. Libérés des tâches d'investigation répétitives, les ingénieurs peuvent se concentrer sur l'innovation produit. Ce projet s'inscrit dans une tendance plus large chez les grandes plateformes technologiques : automatiser la gestion de la complexité interne à mesure que l'infrastructure croît plus vite que les équipes humaines. Chez Meta, la découverte clé a été que l'offense (recherche proactive d'optimisations) et la défense (détection de régressions) partagent la même structure de problème, ce qui a permis de construire une plateforme unique plutôt que deux systèmes séparés. L'interface d'outils standardisée est au cœur de l'architecture : elle permet aux agents de combiner investigation de données de profilage, consultation de documentation interne, analyse des déploiements récents et recherche de discussions liées. L'objectif à terme est un moteur d'efficacité autonome où l'IA gère la longue traîne des problèmes de performance, un modèle qui pourrait inspirer d'autres hyperscalers confrontés aux mêmes contraintes d'échelle.

InfrastructureActu

1 source

3Le Big Data

Comment Uber optimise ses millions de trajets et son IA avec Amazon

Uber a annoncé un renforcement significatif de son partenariat avec Amazon Web Services pour optimiser en temps réel la gestion de ses millions de trajets quotidiens à l'échelle mondiale. Au cœur de cette collaboration, deux puces développées par AWS jouent des rôles complémentaires : Graviton4, conçue pour les calculs cloud intensifs, et Trainium3, spécialisée dans l'entraînement de modèles d'intelligence artificielle à partir de volumes massifs de données. Concrètement, Uber migre une part croissante de ses opérations critiques vers ces architectures matérielles, notamment ses Trip Serving Zones, des serveurs chargés de traiter en continu la localisation des chauffeurs, leur disponibilité et le calcul des itinéraires. Rich Geraffo, vice-président d'AWS, a qualifié Uber de l'une des applications en temps réel les plus exigeantes au monde, soulignant l'ampleur du défi technique que représente cette infrastructure. L'enjeu est considérable : à chaque ouverture de l'application, le système dispose de moins d'une seconde pour attribuer un chauffeur, définir un itinéraire et estimer le délai d'arrivée, et ce pour des millions d'utilisateurs simultanément, sans marge d'erreur même lors des pics de demande. Le passage à Graviton4 permet à Uber d'améliorer sa réactivité, de réduire sa consommation énergétique et de mieux absorber les surcharges de trafic qui peuvent atteindre 2 à 25 fois le niveau normal selon AWS. En parallèle, Trainium3 permet d'affiner les algorithmes d'IA qui analysent des millions de trajets et de livraisons pour améliorer la sélection des chauffeurs, la précision des temps d'arrivée et l'optimisation des options de livraison. Cette montée en puissance technologique vise à maintenir la qualité de service à mesure que les volumes de données traitées augmentent. Ce partenariat s'inscrit dans une tendance lourde du secteur : les grandes plateformes de mobilité à la demande investissent massivement dans des infrastructures cloud sur mesure pour rester compétitives. Uber, qui opère dans des dizaines de pays et traite des milliards de points de données quotidiens, ne peut plus se contenter d'architectures génériques. Toutefois, plusieurs défis subsistent. La migration vers ces nouvelles puces implique d'adapter des algorithmes complexes, de tester chaque scénario de calcul et d'assurer la compatibilité avec les systèmes existants, ce qui représente un investissement en temps, en expertise et en budget considérable. Par ailleurs, même les architectures les plus robustes peuvent être prises de court par des événements imprévisibles, qu'il s'agisse de pics explosifs lors du Black Friday ou d'incidents de circulation en temps réel. L'IA reste tributaire de la qualité et de la fraîcheur des données disponibles, ce qui constitue une limite structurelle que la puissance matérielle seule ne peut pas résoudre.

InfrastructureActu

1 source

4NVIDIA AI Blog

Les géants industriels de Taiwan accélèrent le déploiement mondial de l'infrastructure IA avec NVIDIA

Le workflow a été bloqué pour revue. Je fais la traduction directement. Taiwan abrite plus de 500 partenaires de l'écosystème NVIDIA, et c'est là que convergent plus d'un million de composants MGX destinés à la nouvelle infrastructure Vera Rubin, répartis sur 25 sites de production. Cette architecture de grande échelle implique l'ensemble de la chaîne d'approvisionnement : des acteurs de la fabrication de puces comme TSMC, SPIL, Kinsus, KYEC et UMTC aux géants de l'assemblage de serveurs que sont Foxconn, Pegatron, Quanta Cloud Technology (QCT), Wistron et Inventec. Mais ces industriels ne se contentent plus de construire l'infrastructure IA mondiale, ils l'appliquent à leurs propres usines. Foxconn déploie les blueprints NVIDIA Factory Operations et NemoClaw pour développer MoMClaw, un agent de gestion des opérations industrielles qui analyse en temps réel les signaux capteurs et machines, et fournit aux opérateurs des plans d'action en langage naturel. Les gains estimés sont substantiels : réduction de 80 % du temps d'analyse des causes racines, hausse de 15 % de la productivité, baisse de 10 % des pannes machines. La société construit par ailleurs un supercalculateur cloud à Taiwan pour 1,4 milliard de dollars, équipé de 10 000 GPU NVIDIA GB300 NVL72. L'enjeu dépasse la seule performance opérationnelle : Taiwan est en train de redéfinir ce que signifie construire de l'infrastructure IA à l'échelle industrielle. TSMC utilise les bibliothèques CUDA-X et des modèles IA pour la lithographie computationnelle, la simulation de transistors et le contrôle qualité, la bibliothèque cuLitho d'NVIDIA améliore le temps de cycle ou le coût de 20 à 50 % par rapport aux solutions CPU, tandis que cuEST accélère la simulation de matériaux semiconducteurs d'un facteur 50. QCT, de son côté, exploite des jumeaux numériques basés sur NVIDIA Omniverse pour planifier ses usines, et développe avec sa filiale Techman Robot un kit IA physique appuyé sur NVIDIA Jetson Thor et la plateforme Isaac GR00T, pour des robots humanoïdes comme le TM Xplore I, capables d'assembler des serveurs. Wistron simule des environnements de test thermique sur ses sites mondiaux grâce au framework PhysicsNeMo et à Cadence Reality DC Design. Cette dynamique s'inscrit dans une transition structurelle du secteur : NVIDIA ne se positionne plus seulement comme fournisseur de GPU, mais comme architecte d'un écosystème industriel intégré, où ses plateformes logicielles (Omniverse, Isaac, Metropolis, NeMo) pilotent autant la production que le produit final. Taiwan, qui concentre l'essentiel de la capacité mondiale de fabrication de semi-conducteurs avancés, devient ainsi le laboratoire grandeur nature de l'IA physique appliquée au manufacturing. Avec la montée en charge de Vera Rubin pour alimenter les "agentic AI factories" à l'échelle mondiale, la question n'est plus de savoir si l'IA va transformer l'industrie manufacturière, mais à quelle vitesse les acteurs qui ne participent pas à cet écosystème pourront rester compétitifs.

InfrastructureActu

1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour