Meta développe une technique de prompting structuré qui améliore nettement la revue de code par les LLMs, atteignant 93 % de précision dans certains cas

Les benchmarks pour l'IA sont défaillants. Voici ce qu'il faudrait à la place

Les systèmes d'intelligence artificielle sont presque universellement évalués par des benchmarks qui mesurent leurs performances face à des humains sur des tâches isolées — précision sur des scans médicaux, résolution de problèmes mathématiques, génération de code. Ces tests produisent des scores impressionnants : 98 % de précision, vitesses record, résultats spectaculaires. Sur la base de ces chiffres, gouvernements et entreprises décident d'adopter des modèles en y engageant des ressources financières et techniques considérables. Mais une fois déployés dans des environnements réels, l'écart entre le score du benchmark et la performance effective devient rapidement visible. Des chercheurs comme Ari Ezra Waldman, qui étudie le déploiement de l'IA dans des PME, des hôpitaux, des ONG et des universités aux États-Unis, au Royaume-Uni et en Asie depuis 2022, documentent ce fossé de manière systématique. L'exemple de la radiologie médicale est particulièrement révélateur. Des modèles d'IA approuvés par la FDA lisent des scanners plus vite et plus précisément que des radiologues experts — sur le papier. Dans des hôpitaux en Californie et à Londres, le personnel utilisant ces outils hautement classés constatait qu'il lui fallait du temps supplémentaire pour interpréter les sorties de l'IA en fonction des normes de reporting propres à chaque établissement et des exigences réglementaires nationales. Ce qui devait être un outil de productivité introduisait en réalité des délais. La raison est structurelle : les benchmarks testent l'IA en vase clos, tandis que les décisions médicales réelles émergent de équipes pluridisciplinaires — radiologues, oncologues, infirmières — qui débattent collectivement sur plusieurs jours ou semaines, en intégrant les préférences des patients et des compromis complexes entre standards professionnels et bien-être à long terme. Aucun benchmark actuel ne capture cette dynamique. Ce constat dépasse le seul secteur médical et touche à une question fondamentale pour l'ensemble de l'industrie de l'IA. Les benchmarks actuels, même les plus récents qui tentent d'aller au-delà des tests statiques vers des méthodes d'évaluation plus dynamiques, évaluent toujours l'IA hors du contexte humain et organisationnel où ses performances réelles se jouent. Le problème est systémique : en optimisant les modèles pour des classements déconnectés du terrain, on risque d'adopter des technologies inadaptées, de sous-estimer des risques systémiques et de se tromper sur les conséquences économiques et sociales de l'IA. La solution proposée — baptisée HAIC, pour Human–AI, Context-Specific Evaluation — consiste à évaluer les systèmes d'IA sur des horizons temporels plus longs, au sein de vraies équipes et de vrais flux de travail. Une refonte profonde de la façon dont l'industrie mesure ce qu'elle construit.

Toutes les IA échouent à ce test d’humanité

Le 27 mars 2026, l'organisation ARC Prize a publié ARC-AGI-3, la troisième itération de son benchmark conçu pour mesurer la progression des systèmes d'IA vers une intelligence artificielle générale. Contrairement aux versions précédentes, ce nouveau test cible spécifiquement les IA dites « agentiques » — capables d'agir en séquences, d'explorer un environnement et d'apprendre en cours de tâche. Les meilleurs modèles actuels, y compris les systèmes de raisonnement d'OpenAI et de Google DeepMind, obtiennent des scores encore très inférieurs aux capacités humaines moyennes. Ce résultat révèle une limite fondamentale des architectures actuelles : les grands modèles de langage excellent à reproduire des patterns vus en entraînement, mais peinent à généraliser dans des contextes inédits et interactifs. ARC-AGI-3 est conçu précisément pour être trivial pour un humain — quelques minutes suffisent — mais résistant aux techniques d'optimisation brute que l'industrie utilise pour doper ses benchmarks. Il mesure ce que Chollet appelle « l'efficience de généralisation », une capacité que les LLMs actuels ne possèdent pas structurellement. ARC-AGI a été créé par François Chollet, ingénieur chez Google et auteur de Keras, qui défend depuis des années l'idée que les benchmarks standards sont saturés et trompeurs. La première version date de 2019 ; ARC-AGI-2, publié en 2025, avait déjà mis en difficulté les meilleurs modèles. ARC Prize, l'organisation derrière le projet, offre des récompenses financières pour inciter la communauté à trouver de nouvelles approches algorithmiques. Ce troisième volet marque une accélération du défi : tant que les IA échouent ici, les proclamations d'AGI restent prématurées.

💬 Je l'attendais, celle-là. Les meilleurs modèles du monde battus par n'importe quel humain en quelques minutes sur un truc conçu pour être trivial, ça remet les pieds sur terre quand tu lis les annonces AGI de la semaine. Chollet a raison depuis le début : on optimise des benchmarks, pas de l'intelligence.

ProText : un jeu de données de référence pour mesurer les erreurs de genre dans les textes longs

Des chercheurs ont publié ProText, un jeu de données de référence conçu pour mesurer les erreurs de genre — ou « misgendering » — dans des textes longs en anglais. Le dataset s'articule autour de trois dimensions : les noms thématiques (prénoms, professions, titres, liens familiaux), la catégorie thématique (stéréotypiquement masculin, stéréotypiquement féminin, neutre ou non genré), et la catégorie de pronom (masculin, féminin, neutre, ou absence de pronom). ProText est spécifiquement conçu pour évaluer le comportement des grands modèles de langage (LLMs) lors de transformations textuelles comme le résumé automatique ou la réécriture. L'enjeu est significatif : les LLMs sont de plus en plus utilisés pour reformuler, condenser ou transformer des contenus, et ces opérations peuvent introduire ou amplifier des biais de genre — en assignant incorrectement un pronom masculin à une personne dont le genre est neutre ou non spécifié, par exemple. ProText va au-delà des benchmarks traditionnels de résolution de coréférence pronominale, en couvrant des textes stylistiquement variés et des cas plus complexes que le simple remplacement de pronom. Ce travail s'inscrit dans un effort plus large de la communauté NLP pour documenter et corriger les biais systémiques des modèles de langage. Les benchmarks existants se concentraient surtout sur des phrases courtes ou des contextes binaires, laissant peu de visibilité sur ce qui se passe dans des textes plus longs et nuancés. ProText vise à combler ce manque et à fournir un outil standardisé aux équipes qui évaluent l'équité et l'inclusivité de leurs systèmes d'IA.

Salesforce publie VoiceAgentRAG : un routeur mémoire à deux agents qui réduit la latence de récupération RAG vocale de 316x

Salesforce AI Research a publié VoiceAgentRAG, une architecture open source à double agent conçue pour résoudre l'un des problèmes les plus critiques des assistants vocaux : la latence de récupération des données. Dans un système RAG (Retrieval-Augmented Generation) classique, chaque requête vers une base vectorielle distante introduit entre 50 et 300 millisecondes de délai réseau — un délai qui, pour la voix, consume la totalité du budget disponible avant même que le modèle de langage commence à générer une réponse. VoiceAgentRAG réduit ce délai de récupération de 316 fois, passant de 110 ms à 0,35 ms, grâce à un cache sémantique local. Sur 200 requêtes testées avec Qdrant Cloud comme base vectorielle distante, le système atteint un taux de cache hit global de 75 % (79 % sur les tours de conversation où le cache est déjà chaud), économisant 16,5 secondes de temps de récupération au total. Ce gain de performance change fondamentalement ce qui est possible dans les interfaces vocales alimentées par l'IA. Maintenir une conversation naturelle exige une réponse en moins de 200 millisecondes — contrainte que les systèmes RAG standards ne peuvent pas respecter en production. En découplant la récupération des documents de la génération de réponse, VoiceAgentRAG permet aux agents vocaux d'accéder à une base de connaissances étendue sans sacrifier la fluidité conversationnelle. L'architecture est compatible avec les principaux fournisseurs LLM (OpenAI, Anthropic, Gemini, Ollama) et les systèmes d'embedding courants, ce qui facilite son intégration dans des stacks existants. Les scénarios de conversation thématiquement cohérents, comme la comparaison de fonctionnalités, atteignent jusqu'à 95 % de cache hit ; les scénarios plus volatils descendent à 45-55 %. L'architecture repose sur deux agents parallèles coordonnés par un bus d'événements asynchrone. Le « Fast Talker » gère le chemin critique : il interroge d'abord un cache FAISS en mémoire, et ne fait appel à la base distante qu'en cas d'échec, avant de mettre le résultat en cache pour les tours suivants. Le « Slow Thinker » opère en arrière-plan : il analyse une fenêtre glissante des six derniers tours de conversation pour anticiper trois à cinq sujets probables et pré-charger les documents correspondants avant que l'utilisateur ne pose sa prochaine question. Une subtilité technique notable : le Slow Thinker génère des descriptions stylistiquement proches des documents sources plutôt que des questions, alignant ainsi les embeddings de prédiction sur ceux des textes réels dans la base. Le cache utilise un seuil de similarité cosinus de 0,40 pour les correspondances et une politique d'éviction LRU avec une durée de vie de 300 secondes. Publié en open source sur arXiv (2603.02206), VoiceAgentRAG marque une étape concrète vers des agents vocaux capables de raisonner sur des bases documentaires larges en temps réel.