L'entrainement decentralise peut aider a resoudre les problemes energetiques de l'IA
L'intelligence artificielle consomme des quantités colossales d'énergie, et cette réalité pousse chercheurs et entreprises à repenser en profondeur la manière dont les modèles sont entraînés. Plutôt que de continuer à concentrer le calcul dans d'immenses centres de données centralisés, une approche émerge : la décentralisation de l'entraînement, qui distribue le travail sur un réseau de nœuds indépendants. Des acteurs comme Nvidia, avec son infrastructure Spectrum-XGS Ethernet conçue pour relier des clusters GPU géographiquement séparés, ou Cisco avec son routeur 8223 destiné à connecter des clusters d'IA dispersés, ont déjà commercialisé des solutions dans ce sens. Plus radical encore, Akash Network propose une place de marché pair-à-pair baptisée "l'Airbnb des centres de données" : des entreprises ou particuliers disposant de GPU sous-utilisés les louent à ceux qui en ont besoin, sans construction d'infrastructure supplémentaire. Sur le plan logiciel, l'apprentissage fédéré permet à plusieurs organisations d'entraîner localement un modèle partagé, en n'échangeant que les poids du modèle avec un serveur central qui les agrège, sans jamais centraliser les données brutes.
L'enjeu est considérable : l'entraînement représente l'une des phases les plus énergivores du cycle de vie d'un modèle d'IA, et les émissions carbone liées aux grands modèles de langage ne cessent d'augmenter. La décentralisation offre une réponse concrète en permettant au calcul d'aller là où l'énergie existe déjà, qu'il s'agisse d'un serveur dormant dans un laboratoire de recherche ou d'un ordinateur alimenté par des panneaux solaires. Cela évite de surcharger les réseaux électriques en construisant toujours plus de centres de données, et ouvre la voie à un modèle économique inédit où de petits GPU, jusqu'ici négligés, deviennent des ressources valorisables. Comme le souligne Greg Osuri, cofondateur d'Akash Network, le monde passe progressivement d'une dépendance exclusive aux GPU les plus puissants vers une utilisation combinée de matériels plus modestes mais abondants.
Cette évolution s'inscrit dans un contexte où les grandes entreprises technologiques, faute d'avancées matérielles suffisamment rapides pour suivre la croissance des modèles, explorent déjà la mutualisation de plusieurs centres de données. L'approche décentralisée soulève néanmoins des défis techniques sérieux : les échanges constants de poids de modèles génèrent des coûts de communication élevés, et la moindre défaillance d'un nœud peut obliger à recommencer un lot d'entraînement entier. Pour y répondre, des chercheurs de Google DeepMind ont développé DiLoCo, un algorithme d'optimisation à faible communication conçu spécifiquement pour l'entraînement distribué. Les solutions nucléaires envisagées par les géants du secteur restent à plusieurs années de distance ; la décentralisation, elle, est déjà opérationnelle.
La décentralisation de l'entraînement pourrait alléger la pression sur les réseaux électriques européens, déjà sous tension face à la prolifération des centres de données.
