Aller au contenu principal
Meta double l'efficacité de son modèle publicitaire IA à grande échelle avec l'entraînement GEM
InfrastructureMeta Engineering ML · 2 min de lecture

Meta double l'efficacité de son modèle publicitaire IA à grande échelle avec l'entraînement GEM

Source originale ↗·

Meta a dévoilé les détails techniques de GEM (Generative Ads Recommendation Model), le modèle de fondation qui alimente les recommandations publicitaires sur Instagram et Facebook. Ce modèle s'entraîne désormais à l'échelle des grands modèles de langage, sur plusieurs milliers de GPU de dernière génération. Au cours des douze derniers mois, l'équipe d'ingénierie de Meta a doublé l'efficacité globale de l'entraînement, atteignant un taux d'utilisation des FLOPs du modèle (MFU) de 20 à 25 %, tout en multipliant par quatre le volume total de calcul consacré à l'entraînement. Ce résultat repose sur une conception conjointe des noyaux de calcul, de la précision numérique, du parallélisme, du réseau et de la mémoire. GEM combine une architecture hybride associant des milliers de milliards de paramètres d'embeddings épars à des milliards de paramètres denses, entraînés sur des données de contenu publicitaire et d'engagement utilisateur, réparties entre caractéristiques séquentielles comme l'historique d'activité et caractéristiques non séquentielles comme la localisation ou la représentation des créations publicitaires.

Cette prouesse technique compte parce que les infrastructures d'IA optimisées pour les grands modèles de langage classiques ne s'appliquent pas directement aux systèmes de recommandation, dont le profil de données diffère fondamentalement. Les séquences d'activité utilisateur ont des longueurs très variables, et un simple remplissage jusqu'à la longueur maximale peut gaspiller jusqu'à 50 % de la puissance de calcul. Les tâches de prédiction publicitaire, comme le taux de clic ou de conversion, sont en outre extrêmement sensibles aux changements de précision numérique, ce qui rend risqué le recours naïf à des formats basse précision sans dégrader la qualité des prédictions. En résolvant ces contraintes propres aux systèmes de recommandation à grande échelle, Meta améliore directement l'efficacité économique de son moteur publicitaire, un enjeu majeur pour un groupe dont l'essentiel des revenus provient de la publicité ciblée sur Facebook et Instagram.

Pour surmonter ces obstacles, les ingénieurs de Meta ont développé une bibliothèque de noyaux de calcul dédiée aux systèmes de recommandation, comprenant des mécanismes comme Jagged Flash Attention, Generalized Dot-Product Attention et BlockAttention, combinés à un entraînement en précision ultra-basse mixte, notamment au format MXFP8 pour les couches d'attention et les réseaux denses. Côté mise à l'échelle, l'équipe a mis en place un parallélisme à cinq dimensions tenant compte de la topologie réseau, associant du FSDP bidimensionnel et du parallélisme d'experts pour les paramètres denses à un parallélisme de modèle entièrement partitionné pour les paramètres épars, le tout aligné sur la hiérarchie réseau multi-niveaux de Meta. Cette approche illustre une tendance plus large de l'industrie où les géants technologiques réutilisent les innovations issues de l'entraînement des grands modèles de langage pour d'autres charges de travail critiques, ouvrant la voie à de nouvelles optimisations matérielles et logicielles spécifiques aux systèmes de recommandation à très grande échelle.

Dans nos dossiers

Cet article vous a été utile ?

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

AWS met à l'échelle des modèles de fondation sismiques : entraînement distribué avec Amazon SageMaker HyperPod et extension des fenêtres de contexte
1AWS ML Blog 

AWS met à l'échelle des modèles de fondation sismiques : entraînement distribué avec Amazon SageMaker HyperPod et extension des fenêtres de contexte

TGS, fournisseur de données géoscientifiques pour le secteur énergétique, a réduit le temps d'entraînement de ses modèles fondamentaux sismiques (SFM) de 6 mois à seulement 5 jours grâce à un partenariat avec le AWS Generative AI Innovation Center (GenAIIC). Ces modèles, basés sur une architecture Vision Transformer (ViT) avec entraînement par Masked AutoEncoder (MAE), analysent des données sismiques 3D complexes pour identifier des structures géologiques essentielles à l'exploration énergétique. L'infrastructure déployée repose sur Amazon SageMaker HyperPod, un cluster de 16 instances EC2 P5 équipées chacune de 8 GPU NVIDIA H200 avec 141 Go de mémoire HBM3e, 2 048 Go de RAM système et une connectivité réseau EFAv3 à 3 200 Gbps pour minimiser la latence entre les noeuds. Les données d'entraînement, plusieurs téraoctets, sont streamées directement depuis Amazon S3 sans couche de stockage intermédiaire. Cet accomplissement représente un changement de paradigme pour l'industrie pétrolière et gazière, où l'exploration géologique repose de plus en plus sur des modèles d'IA capables d'interpréter des volumes sismiques massifs. En passant de 6 mois à 5 jours par cycle d'entraînement, TGS peut désormais incorporer de nouvelles données beaucoup plus fréquemment et itérer rapidement sur ses modèles, ce qui se traduit directement en valeur pour ses clients. L'autre avancée majeure est l'extension de la fenêtre de contexte du modèle grâce à des techniques de parallélisme contextuel, permettant d'analyser des volumes 3D nettement plus grands qu'auparavant et de capturer simultanément les détails locaux et les structures géologiques à grande échelle, deux informations jusqu'ici difficiles à obtenir en un seul passage. Le projet s'inscrit dans une modernisation plus large de l'infrastructure AWS de TGS et illustre une tendance croissante dans les industries à forte intensité de données, comme l'énergie ou les géosciences, qui adoptent les modèles fondamentaux spécialisés pour remplacer les pipelines d'analyse traditionnels. L'entraînement distribué à grande échelle sur des données 3D volumétriques pose des défis spécifiques, temps GPU inactifs, goulots d'étranglement réseau, gestion des checkpoints sur des clusters multi-noeuds, que SageMaker HyperPod adresse avec une surveillance automatique de la santé des instances et une gestion résiliente des reprises. La collaboration entre TGS et l'équipe GenAIIC d'AWS ouvre la voie à des modèles sismiques de prochaine génération capables d'analyser des formations géologiques encore plus complexes, avec des implications directes sur l'efficacité et la précision de l'exploration pétrolière et gazière à l'échelle mondiale.

InfrastructureActu
1 source
2Meta Engineering ML 

Les agents IA unifiés de Meta optimisent les performances à grande échelle

Meta a développé une plateforme d'agents IA unifiée pour automatiser la détection et la résolution des problèmes de performance à l'échelle de son infrastructure mondiale, qui sert plus de 3 milliards d'utilisateurs. Ce programme, baptisé Capacity Efficiency Program, repose sur des agents capables d'encoder l'expertise de ses ingénieurs seniors en compétences réutilisables et composables. Résultat concret : des centaines de mégawatts (MW) de puissance électrique récupérés, soit de quoi alimenter des centaines de milliers de foyers américains pendant un an. L'outil interne FBDetect détecte chaque semaine des milliers de régressions de performance, et les agents IA prennent désormais en charge leur résolution automatisée, compressant environ dix heures d'investigation manuelle en trente minutes. Les agents vont même jusqu'à générer des pull requests prêtes à révision, couvrant l'intégralité du chemin depuis la détection d'une opportunité d'optimisation jusqu'à la correction du code. L'impact est double : économique et opérationnel. Côté défense, chaque régression non résolue rapidement se traduit par une consommation électrique supplémentaire qui s'accumule sur l'ensemble du parc de serveurs de Meta. Côté offensif, les agents permettent désormais d'explorer proactivement des optimisations dans un nombre croissant de domaines produits, des opportunités que les ingénieurs n'auraient jamais le temps de traiter manuellement. Le programme peut ainsi augmenter sa capacité de livraison de mégawatts sans augmenter proportionnellement les effectifs humains, ce qui représente un levier de scalabilité majeur pour une infrastructure de cette taille. Libérés des tâches d'investigation répétitives, les ingénieurs peuvent se concentrer sur l'innovation produit. Ce projet s'inscrit dans une tendance plus large chez les grandes plateformes technologiques : automatiser la gestion de la complexité interne à mesure que l'infrastructure croît plus vite que les équipes humaines. Chez Meta, la découverte clé a été que l'offense (recherche proactive d'optimisations) et la défense (détection de régressions) partagent la même structure de problème, ce qui a permis de construire une plateforme unique plutôt que deux systèmes séparés. L'interface d'outils standardisée est au cœur de l'architecture : elle permet aux agents de combiner investigation de données de profilage, consultation de documentation interne, analyse des déploiements récents et recherche de discussions liées. L'objectif à terme est un moteur d'efficacité autonome où l'IA gère la longue traîne des problèmes de performance, un modèle qui pourrait inspirer d'autres hyperscalers confrontés aux mêmes contraintes d'échelle.

InfrastructureActu
1 source
L'efficacité à grande échelle : NVIDIA et les acteurs de l'énergie accélèrent les centres d'IA flexibles pour renforcer le réseau électrique
3NVIDIA AI Blog 

L'efficacité à grande échelle : NVIDIA et les acteurs de l'énergie accélèrent les centres d'IA flexibles pour renforcer le réseau électrique

NVIDIA et la startup Emerald AI ont présenté lors du CERAWeek, le sommet mondial de l'énergie surnommé le « Davos de l'énergie », une architecture inédite qui transforme les usines à IA en actifs flexibles pour le réseau électrique. Construite sur la plateforme NVIDIA Vera Rubin DSX et le logiciel Conductor d'Emerald AI, cette approche intègre calcul, gestion de l'énergie et pilotage en temps réel dans une architecture unifiée. Concrètement, une usine à IA peut désormais moduler sa consommation électrique en fonction des conditions du réseau, tout en continuant à produire des tokens. Six grands acteurs de l'énergie, AES, Constellation, Invenergy, NextEra Energy, Nscale Energy & Power et Vistra, se sont engagés à construire des capacités de production compatibles avec cette architecture, notamment via des projets hybrides combinant alimentation locale et connexion au réseau. Du côté de l'efficacité pure, NVIDIA revendique une progression d'un million de fois le nombre de tokens générés pour un même budget énergétique, entre le GPU Kepler de 2012 et la plateforme Vera Rubin lancée cette année. La métrique clé est désormais le « tokens par seconde par watt ». Cet enjeu dépasse la simple optimisation technique : la croissance explosive des infrastructures IA menace de déstabiliser des réseaux électriques déjà sous tension. En rendant les centres de calcul capables de s'adapter en temps réel à l'offre disponible, en réduisant leur consommation lors des pics de demande, par exemple, cette approche évite de dimensionner le réseau pour des pointes qui ne surviennent que rarement. Pour les opérateurs d'énergie, cela représente une nouvelle classe de clients industriels qui, au lieu de fragiliser le réseau, peuvent contribuer à sa stabilité. Pour les entreprises qui déploient l'IA à grande échelle, l'avantage est double : des coûts opérationnels réduits et un accès accéléré à la puissance électrique, souvent le principal goulot d'étranglement dans la construction de nouveaux data centers. Jensen Huang, fondateur et PDG de NVIDIA, décrit l'infrastructure IA comme un « gâteau à cinq couches », énergie, puces, infrastructure, modèles, applications, dans lequel l'énergie constitue la base fondatrice. C'est dans cette logique que s'inscrit également l'annonce de Maximo, une entreprise de robotique solaire incubée par AES, qui a achevé l'installation autonome d'une ferme solaire de 100 mégawatts sur le site Bellefield d'AES, en utilisant NVIDIA Omniverse et Isaac Sim. TerraPower, en partenariat avec SoftServe, a de son côté présenté une plateforme de jumeau numérique propulsée par Omniverse pour accélérer la conception de réacteurs nucléaires. Ces annonces illustrent une tendance de fond : l'IA ne se contente plus de consommer de l'énergie, elle commence à en accélérer la production.

UENscale, opérateur européen de data centers, figure parmi les six partenaires engagés dans cette architecture, ce qui pourrait influencer la stratégie énergétique des centres de calcul IA en Europe.

InfrastructureActu
1 source
NVIDIA ouvre son informatique IA à grande échelle et invite ses partenaires à soutenir le développement de l'infrastructure IA
4NVIDIA AI Blog 

NVIDIA ouvre son informatique IA à grande échelle et invite ses partenaires à soutenir le développement de l'infrastructure IA

NVIDIA a dévoilé un nouveau modèle économique destiné à ouvrir l'accès à ses infrastructures de calcul aux startups d'IA, créateurs de modèles, entreprises et organismes de recherche qui manquaient jusqu'ici de capital pour financer des équipements aussi coûteux. Ce dispositif repose sur un partage de revenus avec des "AI clouds" partenaires : ces fournisseurs de cloud vendront des services alimentés par la technologie NVIDIA, l'entreprise percevant à la fois le revenu classique lié à la vente de matériel et une part des revenus générés par la capacité mise à disposition. Deux entreprises figurent parmi les premières à s'engager dans ce cadre. Sharon AI va déployer jusqu'à 40 000 GPU NVIDIA Grace Blackwell GB300, dans ce que son cofondateur et PDG James Manning décrit comme une étape clé de la mission de l'entreprise pour offrir une infrastructure de calcul IA souveraine et à grande échelle. Firmus, de son côté, construit un site "DSX AI factory" à Batam, en Indonésie, dont la puissance devrait atteindre 360 mégawatts pour jusqu'à 170 000 GPU NVIDIA. Selon Tim Rosenfield, co-PDG de Firmus Technologies, les entreprises spécialisées en IA ont besoin d'un accès à une infrastructure de calcul évolutive, économe en énergie et en coûts, pour rester compétitives à l'échelle mondiale. Cette initiative répond à un changement structurel de la demande en calcul : l'IA passe désormais du stade de l'entraînement de modèles à celui de la production à grande échelle, avec des "usines à IA" qui doivent tourner en continu pour générer des tokens en volume. Or les jeunes pousses du secteur peinaient à obtenir des financements pour ce type d'infrastructure, même lorsqu'elles disposaient d'engagements clients à long terme, faute de garanties suffisantes pour les prêteurs. En alignant ses intérêts économiques sur ceux des clouds partenaires, NVIDIA espère accélérer l'adoption de ses plateformes par le segment le plus dynamique du marché, tout en s'assurant un flux de revenus récurrent indexé sur l'usage réel. Pour les créateurs de modèles, fournisseurs d'inférence et plateformes d'agents, cela signifie un accès plus rapide à du calcul accéléré de bout en bout, sans avoir à attendre les longues étapes de sélection de site, d'approvisionnement énergétique, de construction et de mise en service du matériel. Des acteurs déjà bien installés dans l'écosystème, comme Baseten, Fireworks AI et Together AI, illustrent où se dirige la demande : ils ont besoin d'un accès immédiat à de la capacité cloud pour l'entraînement, le post-entraînement, l'ajustement fin et l'inférence agentique à fort volume, au service de développeurs et d'entreprises qui déploient l'IA en production. Leurs clients recherchent un accès fiable à du calcul NVIDIA à mesure que leur usage grandit, tout en gardant une flexibilité commerciale pour passer du stade pilote à la production. Ce nouveau modèle s'inscrit dans la stratégie plus large de NVIDIA de structurer un réseau mondial de partenaires cloud et d'usines à IA, conçu pour soutenir la montée en puissance rapide de l'intelligence artificielle générative et agentique dans les prochaines années.

💬 NVIDIA ne vend plus juste des puces, il devient actionnaire de la demande : en prenant une part des revenus de ses clouds partenaires, il aligne son intérêt sur le taux d'usage réel des GPU, pas sur le seul volume de vente. Bon, sur le papier ça débloque enfin les startups qui avaient les clients mais pas les garanties bancaires pour financer une usine à IA. Reste que ça renforce encore la dépendance de tout l'écosystème inférence à un seul fournisseur, et ça, ça devrait inquiéter plus de monde que ça n'en a l'air.

InfrastructureActu
1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, l'essentiel de l'IA · désinscription en un clic