Des chercheurs de Nvidia jugent que les très grandes fenêtres de contexte en IA sont une impasse
Des chercheurs de Nvidia soutiennent que les modèles de langage n'ont le plus souvent pas besoin de l'intégralité de leur fenêtre de contexte, une ressource lente, coûteuse et source d'erreurs. Dans leurs tests, deux techniques simples suffisent la plupart du temps : des résumés produits à intervalles réguliers et une recherche ciblée par mots-clés. Ces approches ont généralement égalé les résultats obtenus avec le contexte complet, pour une fraction du coût. L'équipe va plus loin en proposant une nouvelle classe de modèles, conçus pour travailler à partir de courtes notes plutôt que d'un long contexte.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de The Decoder. Lire l'article original →
Si ces conclusions se confirment, elles remettent en cause l'idée selon laquelle l'élargissement des fenêtres de contexte serait la voie naturelle du progrès. Pour les entreprises qui déploient des assistants ou des agents traitant de gros volumes de documents, la facture de calcul et la latence pourraient baisser nettement. Les erreurs que provoque un contexte surchargé, où l'information utile se noie parmi des milliers de passages, pourraient aussi diminuer, ce qui améliorerait la fiabilité des réponses.
Ces travaux s'inscrivent dans une course où les grands laboratoires ont multiplié les annonces de fenêtres toujours plus vastes, au prix d'un coût de calcul qui grimpe avec la longueur traitée. Nvidia, dont l'activité repose sur la demande en puissance de calcul, avance ici une piste d'efficacité plutôt que de volume. La suite dépendra de la capacité de ces méthodes à tenir sur des tâches plus variées et de l'adoption éventuelle de modèles fondés sur des notes concises.