Fine-tuning oublie, RAG laisse filtrer le contexte : les hyperréseaux génèrent le bon modèle à la demande

Les équipes d'entreprise observent régulièrement le même scénario : un agent IA convainc en démonstration, puis peine en production, forçant les équipes à superviser ses sorties en continu plutôt qu'à valider uniquement le résultat final. La firme Chroma a testé 18 modèles de premier plan et constaté que tous perdaient en précision à mesure que leurs entrées s'allongeaient, une limite inhérente au mécanisme d'attention, non un défaut que corrigerait un modèle plus puissant. Les entreprises disposent jusqu'ici de deux réponses à ce problème : le fine-tuning, qui intègre les connaissances directement dans les poids du modèle, et l'apprentissage en contexte (RAG), qui les insère à la volée dans le prompt. Ces deux approches ont leurs failles propres : le fine-tuning souffre de l'oubli catastrophique, un problème documenté dès les années 1980 et toujours sans solution en 2026, qui érode les connaissances existantes dès qu'on en enseigne de nouvelles. Le RAG, de son côté, voit la qualité des réponses se dégrader avec l'accumulation de tokens, et un document raté lors de la récupération produit une réponse aussi assurée qu'une réponse correcte. Une troisième voie commence à émerger : générer à la demande, au moment de l'inférence, un modèle spécialisé via un hyperréseau.

L'enjeu concret pour les entreprises est considérable. Tant que les agents ne peuvent pas maintenir leur fiabilité sur des tâches longues sans injection régulière de contexte ou vérification humaine, le gain de productivité attendu reste théorique. Un agent qui nécessite qu'on vérifie chaque étape ne libère pas de bande passante, il la déplace. La promesse d'un système capable de tourner toute une nuit en autonomie et de ne soumettre qu'un résultat final à valider représente un changement de paradigme opérationnel pour les équipes traitant de gros volumes de documentation interne, de politiques changeantes ou de workflows complexes.

Le concept d'hyperréseau, désigné sous ce nom dès 2016, consiste en un réseau neuronal dont la sortie est elle-même le jeu de poids d'un autre réseau. Son application à la génération de modèles de langage spécialisés à partir de documents textuels est récente et très active. Sakana AI a présenté Text-to-LoRA à l'ICML 2025 : cet outil génère un adaptateur de modèle à partir d'une description en langage naturel en une seule passe, sans réentraînement. Un système de 2026 baptisé SHINE qualifie l'adaptation par hyperréseau de "nouvelle frontière prometteuse", précisément parce qu'elle contourne à la fois le coût du fine-tuning et les limites du prompting. L'idée est de remplacer une bibliothèque croissante d'adaptateurs stockés par une génération dynamique selon les besoins, ouvrant la voie à des agents capables d'ajuster leur expertise métier en temps réel sans surcoût de gouvernance ni cycle de réentraînement.