ParaRNN : RNNs non linéaires à grande échelle, entraînables en parallèle
Des chercheurs d'Apple ont publié ParaRNN, une méthode qui permet d'entraîner en parallèle des réseaux de neurones récurrents (RNN) non linéaires à grande échelle. Historiquement, les RNN se heurtaient à un obstacle fondamental : leur calcul séquentiel rendait impossible de les entraîner efficacement sur des milliards de paramètres, contrairement aux architectures basées sur l'attention comme les Transformers. ParaRNN contourne cette limitation en débloquant la parallélisation de l'entraînement, ouvrant pour la première fois la voie à des RNN comparables en taille aux grands modèles de langage actuels.
L'enjeu est considérable pour l'industrie de l'IA. Les RNN ont un avantage majeur à l'inférence : ils consomment beaucoup moins de mémoire et de calcul que les Transformers, ce qui les rend particulièrement attractifs pour les déploiements sur appareils contraints, smartphones, wearables, systèmes embarqués. Jusqu'ici, cette efficacité à l'inférence était contrebalancée par l'impossibilité de les entraîner à l'échelle. ParaRNN change cette équation et élargit concrètement le choix d'architectures disponibles aux praticiens qui conçoivent des LLM pour des environnements à ressources limitées.
Ce travail s'inscrit dans un effort plus large de l'industrie pour trouver des alternatives aux Transformers, dont les coûts computationnels explosent avec la taille. Des architectures comme Mamba, RWKV ou les modèles d'état linéaires (SSM) ont déjà relancé l'intérêt pour les approches séquentielles. Qu'Apple s'engage sur ce terrain avec une contribution de recherche fondamentale signale un intérêt stratégique évident pour des modèles embarqués performants, en cohérence avec son positionnement autour de l'IA on-device dans ses produits.
