🇵🇭 FilBench : Les LMMM peuvent-ils comprendre et générer du tagalo ?

Les grands modèles de langage comprennent-ils vraiment le contexte ?

Une équipe de chercheurs a publié un nouveau benchmark destiné à évaluer la capacité des grands modèles de langage (LLMs) à comprendre le contexte dans les textes en langage naturel. Ce travail, qui s'appuie sur l'adaptation de jeux de données existants, propose quatre tâches distinctes réparties sur neuf datasets, spécifiquement conçus pour tester les modèles génératifs plutôt que les architectures discriminatives traditionnelles. C'est l'une des premières initiatives à formaliser l'évaluation de la compréhension contextuelle comme discipline à part entière dans le domaine du traitement automatique du langage. La compréhension du contexte est fondamentale dans la communication humaine : un même mot ou une même phrase peut signifier des choses très différentes selon la situation, le registre ou les informations implicites partagées entre les interlocuteurs. Or, si les LLMs comme GPT-4 ou Claude sont évalués sur de nombreuses capacités linguistiques, cette dimension contextuelle restait jusqu'ici peu explorée de façon systématique. Ce benchmark comble ce manque et permettra aux équipes de recherche de mieux identifier les limites réelles de ces modèles face à des situations ambiguës ou implicites, ce qui a des implications directes pour les applications de chat, de résumé automatique ou d'assistance à la rédaction. La question de ce que "comprennent" réellement les LLMs anime le débat scientifique depuis l'émergence des architectures Transformer. Beaucoup de benchmarks actuels mesurent des performances sur des tâches bien délimitées, sans capturer la subtilité de l'interprétation contextuelle. En proposant un cadre d'évaluation dédié, ce travail pourrait influencer la façon dont les prochaines générations de modèles sont entraînées et comparées, en poussant l'industrie à intégrer la robustesse contextuelle comme critère de qualité à part entière.

LaCy : ce que les petits modèles de langage peuvent et doivent apprendre ne se réduit pas à une question de perte

Une étude présentée au workshop "Memory for LLM-Based Agentic Systems" de la conférence ICLR 2025 s'attaque à une question fondamentale pour les petits modèles de langage (SLM) : que doivent-ils apprendre lors du préentraînement, et que doivent-ils déléguer à des sources externes ? Les chercheurs ont développé LaCy, un cadre théorique et expérimental qui questionne la fonction de perte standard utilisée pour entraîner ces modèles, en montrant qu'optimiser uniquement la vraisemblance des données n'est pas suffisant pour des SLM efficaces et fiables. Le problème est structurel : contrairement aux grands modèles comme GPT-4 ou Llama 3, les SLM disposent d'une capacité paramétrique limitée, ce qui les contraint à faire des choix sur les connaissances à mémoriser. Sans mécanisme adapté, ils génèrent des faits incorrects plutôt que d'admettre leur ignorance et de consulter une base de données ou un modèle plus puissant. LaCy propose de reformuler ce que le modèle "devrait" apprendre en tenant compte explicitement de la disponibilité de sources externes, comme des documents récupérés par RAG ou des API spécialisées. Ce travail s'inscrit dans la tendance croissante à déployer des agents IA embarqués sur des appareils à faible puissance, où les gros modèles ne peuvent pas tourner localement. Alors que des entreprises comme Google, Apple ou Mistral misent sur des SLM pour l'edge computing et les assistants embarqués, la question de la frontière entre mémoire paramétrique et mémoire externe devient stratégique. LaCy ouvre la voie à des entraînements plus ciblés, où le modèle apprend à savoir ce qu'il ne sait pas.

Comprendre l'état actuel de l'IA : ces graphiques sont essentiels

Le rapport annuel AI Index 2026 de l'Institut HAI de l'Université Stanford, publié ce mois-ci, dresse un bilan saisissant de l'état de l'intelligence artificielle mondiale. Malgré les prédictions d'un essoufflement technologique, les modèles de pointe continuent de progresser à un rythme sans précédent. Sur le benchmark SWE-bench Verified, qui mesure les capacités en ingénierie logicielle, les meilleurs scores sont passés d'environ 60 % en 2024 à près de 100 % en 2025. Les modèles atteignent désormais ou dépassent les performances d'experts humains sur des tests de niveau doctorat en sciences, mathématiques et compréhension du langage. L'adoption de l'IA par le grand public progresse plus vite que celle du PC ou d'Internet en leur temps, et les entreprises du secteur génèrent des revenus plus rapidement que lors de n'importe quel autre boom technologique de l'histoire. Le tout, en dépensant des centaines de milliards de dollars en centres de données et en puces électroniques. Cette accélération a des conséquences concrètes et massives. Les centres de données IA dans le monde peuvent désormais consommer 29,6 gigawatts d'électricité, soit l'équivalent de la consommation maximale de l'État de New York. La seule utilisation de GPT-4o d'OpenAI pourrait dépasser annuellement les besoins en eau potable de 12 millions de personnes. La chaîne d'approvisionnement en semi-conducteurs représente une vulnérabilité stratégique majeure : les États-Unis concentrent la majorité des centres de données mondiaux, mais une seule entreprise taïwanaise, TSMC, fabrique la quasi-totalité des puces IA de pointe. Par ailleurs, les benchmarks censés mesurer les progrès de l'IA, les cadres réglementaires et le marché du travail peinent à suivre un secteur qui avance bien plus vite qu'eux. Sur le plan géopolitique, la course entre les États-Unis et la Chine est désormais au coude à coude. En début d'année 2023, OpenAI dominait nettement avec ChatGPT, mais l'écart s'est resserré en 2024 avec l'arrivée des modèles de Google et Anthropic. En février 2025, DeepSeek R1, développé par un laboratoire chinois, a brièvement égalé ChatGPT. En mars 2026, Anthropic prend la tête du classement Arena, suivi de près par xAI, Google et OpenAI, tandis que DeepSeek et Alibaba ne sont qu'à faible distance. Si les États-Unis disposent de modèles plus puissants, de davantage de capitaux et de 5 427 centres de données (dix fois plus que tout autre pays), la Chine domine en publications scientifiques, brevets et robotique. La transparence, elle, recule : OpenAI, Anthropic et Google ne divulguent plus leurs codes d'entraînement ni la taille de leurs modèles, compliquant le travail des chercheurs indépendants en matière de sécurité de l'IA.

💬 SWE-bench à presque 100% en un an, des modèles qui surpassent des experts sur des tests de doctorat, une adoption plus rapide qu'Internet en son temps. Les chiffres Stanford HAI 2026 sont là, vérifiables, pas du storytelling de keynote. Ce qui coince, c'est que pendant que les perfs s'envolent, OpenAI, Anthropic et Google ont discrètement arrêté de publier tailles de modèles et codes d'entraînement, laissant les chercheurs en sécurité IA travailler de plus en plus dans le noir.

EgoDyn-Bench : évaluation de la compréhension du mouvement ego-centré dans les modèles de vision pour la conduite autonome

Des chercheurs ont publié EgoDyn-Bench, un nouveau banc d'essai conçu pour mesurer la compréhension du mouvement propre du véhicule, appelé ego-motion, par les modèles de fondation en conduite autonome. L'étude, soumise sur arXiv fin avril 2026, s'appuie sur une évaluation empirique à grande échelle couvrant plus de 20 modèles : des systèmes propriétaires comme les grands modèles multimodaux en boîte noire, des modèles open-source de tailles variées, et des agents d'action-langage spécialisés dans la conduite. Le protocole utilise un oracle déterministe pour convertir les données cinématiques continues du véhicule en concepts de mouvement discrets, permettant de dissocier la logique physique interne du modèle de sa perception visuelle brute. Le résultat central est frappant : les auteurs identifient ce qu'ils appellent un « goulot d'étranglement perceptif ». Si les modèles testés démontrent une certaine capacité à raisonner sur les concepts physiques de base, ils échouent systématiquement à les ancrer dans les observations visuelles réelles. Pire, ces systèmes sont régulièrement surpassés par des méthodes géométriques classiques non apprises, pourtant bien plus simples. Cette défaillance persiste quelle que soit la taille du modèle et même après un entraînement spécialisé sur des données de conduite, ce qui pointe vers un déficit structurel dans la façon dont les architectures actuelles couplent vision et raisonnement physique. L'analyse révèle une dissociation fonctionnelle préoccupante entre vision et langage : la logique d'ego-motion est dérivée presque exclusivement du canal linguistique, tandis que les observations visuelles n'apportent qu'un signal négligeable. Lorsque les chercheurs fournissent explicitement des encodages de trajectoire aux modèles, la cohérence physique se rétablit significativement, confirmant que le problème n'est pas une absence de connaissance physique, mais une incapacité à la connecter au flux visuel. Ce constat soulève des questions sérieuses pour l'industrie de la conduite autonome, où des acteurs comme Waymo, Tesla ou Mobileye investissent massivement dans des approches fondées sur ces mêmes modèles. EgoDyn-Bench propose un cadre de diagnostic standardisé et une piste concrète vers des systèmes d'IA incarnée physiquement cohérents.