Nvidia : de simples calculs linéaires peuvent remplacer les transferts coûteux entre modèles d'IA
Des chercheurs de Nvidia ont mis au point une technique de transfert de cache KV entre modèles d'IA différents, permettant d'éviter le recalcul coûteux du contexte lors du passage d'un modèle à un autre dans un système agentique. Concrètement, quand un grand modèle de langage traite une requête, il exécute d'abord une phase de "prefill" qui calcule les clés et valeurs (KV) de tous les tokens d'entrée, puis une phase de "décodage" qui génère les réponses en s'appuyant sur ce cache. Le problème survient quand un système bascule d'un modèle à un autre en cours de session, par exemple pour confier un raisonnement complexe à un modèle plus puissant ou revenir à un modèle plus économique : le cache KV devient invalide car chaque architecture attend un format différent, forçant le nouveau modèle à tout recalculer depuis zéro. La méthode de Nvidia résout ce problème par une transformation mathématique linéaire, sans recourir à un modèle d'apprentissage profond coûteux. Les tests montrent que ce mappage linéaire s'exécute de 2,7 à 25 fois plus vite que le recalcul complet de la conversation, tout en conservant jusqu'à 98% de la précision du modèle cible utilisé seul. Cette avancée cible directement un goulot d'étranglement majeur pour les entreprises qui construisent des workflows agentiques longs impliquant plusieurs modèles de langage. Le gain fonctionne dans les deux sens : transférer le cache d'un petit modèle vers un plus grand permet d'améliorer la qualité des réponses quand une tâche routinière se heurte soudain à un problème complexe, sans perdre le fil de la conversation. À l'inverse, transférer le cache d'un grand modèle vers un plus petit permet de réduire les coûts de calcul, par exemple après qu'un modèle puissant a traité un long prompt système ou résumé un document dense, laissant ensuite un modèle plus léger et moins cher gérer les échanges conversationnels rapides qui suivent. Pour les entreprises, cela représente une réduction potentielle significative de la latence et de la facture de calcul sur les sessions longues et multi-modèles. Cette recherche s'inscrit dans un contexte où l'orchestration de plusieurs modèles de tailles différentes au sein d'un même système agentique devient une pratique courante, mais où les coûts de recalcul du contexte freinent son adoption à grande échelle. Des tentatives antérieures pour résoudre ce problème de transfert de cache existaient déjà, mais elles nécessitaient un entraînement par descente de gradient coûteux ou imposaient des contraintes architecturales très strictes. Pour cette première étude, les chercheurs de Nvidia ont volontairement limité leur travail aux transferts au sein d'une même famille de modèles, comme Qwen, Llama ou Ministral, qui partagent tokenizers, données d'entraînement et styles architecturaux malgré des tailles différentes. L'extension de cette technique à des familles de modèles hétérogènes reste un enjeu ouvert pour les travaux futurs.
