Guide : implémenter et comparer FedAvg et FedProx en apprentissage fédéré sur CIFAR-10 non-IID avec NVIDIA FLARE
Un guide technique publié récemment propose une comparaison concrète entre deux algorithmes d'apprentissage fédéré, FedAvg et FedProx, dans un environnement simulant des conditions réalistes de données hétérogènes. Le protocole s'appuie sur NVIDIA FLARE, le framework open-source de federated learning développé par NVIDIA, et utilise le jeu de données CIFAR-10, une référence en classification d'images à 10 catégories. L'expérience mobilise trois clients simulés entraînés sur cinq rounds de communication, avec un seul epoch local par round et un taux d'apprentissage de 0,01. Pour créer des distributions non homogènes de données, le tutoriel recourt à une partition de Dirichlet avec un paramètre alpha fixé à 0,3, ce qui génère un déséquilibre réaliste dans la répartition des étiquettes entre les différents clients, tel qu'on en observe dans des déploiements médicaux ou industriels réels. Le modèle utilisé est un petit réseau convolutif sans batch normalization, choix délibéré pour garantir la compatibilité du dictionnaire d'état avec l'agrégation FedAvg.
Résumé et traduction réalisés par Le Fil IA à partir de MarkTechPost. Lire l'article original →
Cette comparaison illustre un défi central du federated learning : comment entraîner un modèle global performant lorsque les données locales de chaque participant sont très différentes les unes des autres. FedAvg, l'algorithme historique de McMahan et al. publié en 2017, agrège simplement les poids des modèles locaux, mais il peut diverger ou sous-performer lorsque les distributions sont trop hétérogènes. FedProx, son successeur plus robuste, introduit un terme de régularisation proximal contrôlé par le paramètre mu, qui pénalise les poids locaux s'éloignant trop du modèle global et stabilise ainsi la convergence en conditions non-IID. Visualiser l'évolution de la précision du modèle global sur plusieurs rounds permet de quantifier concrètement ce gain de stabilité, une information directement utile pour les équipes concevant des systèmes distribués en production.
L'apprentissage fédéré s'est imposé comme une réponse aux contraintes croissantes sur la confidentialité des données : plutôt que de centraliser des données sensibles, médicales, financières ou industrielles, chaque participant conserve ses données localement et n'envoie que les mises à jour de son modèle au serveur central. NVIDIA FLARE, lancé en 2021 et aujourd'hui largement utilisé dans le domaine de la santé via des consortiums hospitaliers, facilite ce type d'expérimentation grâce à une API de jobs structurée et un simulateur multi-clients intégré. La popularisation de tutoriels comparant FedAvg et FedProx sur des données hétérogènes répond à un besoin réel : la plupart des déploiements réels font face à des distributions non-IID, et choisir le bon algorithme d'agrégation peut faire la différence entre un modèle convergent et un entraînement instable. Les prochaines étapes naturelles incluent l'intégration de mécanismes de confidentialité différentielle ou l'extension à des architectures plus complexes comme les transformeurs.
L'apprentissage fédéré est directement pertinent pour les hôpitaux et entreprises européens soumis au RGPD, leur permettant d'entraîner des modèles collaboratifs sans centraliser de données sensibles.