Le développement rapide des LLM dépasse la recherche censée les expliquer, selon une étude
Des chercheurs de Stanford ont soumis 50 affirmations largement citées sur les grands modèles de langage à un test contre 20 modèles récents, afin de vérifier si ces conclusions tiennent encore. Le résultat est sévère : 44 % des résultats sont déjà « expirés », c'est-à-dire que les modèles actuels les contredisent, et 34 % supplémentaires se sont nettement affaiblis. La durée de vie moyenne d'une conclusion n'est que de 15,7 mois. Les affirmations portant sur ce que les modèles ne savent pas faire sont celles qui périment le plus vite, car chaque nouvelle génération comble rapidement ces lacunes.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de The Decoder. Lire l'article original →
Ce constat touche directement la façon dont l'industrie et le public se forgent leurs convictions sur l'IA. Des articles cités des centaines de fois, parfois repris dans des décisions d'entreprise, des débats réglementaires ou des discours médiatiques, continuent de circuler alors que leurs conclusions ne correspondent plus aux systèmes réellement déployés. Un décideur qui s'appuie sur une étude de limites supposées d'un modèle risque de sous-estimer des capacités déjà acquises, ou de bâtir une politique sur un diagnostic dépassé. Pour les chercheurs eux-mêmes, cela pose la question de la valeur d'un résultat dont la durée de validité se compte en quelques mois seulement.
Le problème tient au décalage entre deux rythmes. Les laboratoires publient de nouveaux modèles en quelques mois, tandis que l'évaluation académique, avec ses délais de conception, de relecture et de publication, produit des résultats déjà vieillis à leur parution. Les auteurs invitent ainsi à repenser la manière de présenter et de maintenir les conclusions : dater précisément les modèles testés, rejouer régulièrement les expériences sur les générations suivantes et traiter les résultats comme des mesures provisoires plutôt que comme des vérités établies. Reste à savoir si les revues et les communautés de recherche adopteront de telles pratiques.
Les décideurs et régulateurs européens qui s'appuient sur des études de limites des modèles pour l'AI Act risquent de fonder leurs politiques sur des diagnostics déjà périmés.