ProText : un jeu de données de référence pour mesurer les erreurs de genre dans les textes longs

Les benchmarks pour l'IA sont défaillants. Voici ce qu'il faudrait à la place

Les systèmes d'intelligence artificielle sont presque universellement évalués par des benchmarks qui mesurent leurs performances face à des humains sur des tâches isolées — précision sur des scans médicaux, résolution de problèmes mathématiques, génération de code. Ces tests produisent des scores impressionnants : 98 % de précision, vitesses record, résultats spectaculaires. Sur la base de ces chiffres, gouvernements et entreprises décident d'adopter des modèles en y engageant des ressources financières et techniques considérables. Mais une fois déployés dans des environnements réels, l'écart entre le score du benchmark et la performance effective devient rapidement visible. Des chercheurs comme Ari Ezra Waldman, qui étudie le déploiement de l'IA dans des PME, des hôpitaux, des ONG et des universités aux États-Unis, au Royaume-Uni et en Asie depuis 2022, documentent ce fossé de manière systématique. L'exemple de la radiologie médicale est particulièrement révélateur. Des modèles d'IA approuvés par la FDA lisent des scanners plus vite et plus précisément que des radiologues experts — sur le papier. Dans des hôpitaux en Californie et à Londres, le personnel utilisant ces outils hautement classés constatait qu'il lui fallait du temps supplémentaire pour interpréter les sorties de l'IA en fonction des normes de reporting propres à chaque établissement et des exigences réglementaires nationales. Ce qui devait être un outil de productivité introduisait en réalité des délais. La raison est structurelle : les benchmarks testent l'IA en vase clos, tandis que les décisions médicales réelles émergent de équipes pluridisciplinaires — radiologues, oncologues, infirmières — qui débattent collectivement sur plusieurs jours ou semaines, en intégrant les préférences des patients et des compromis complexes entre standards professionnels et bien-être à long terme. Aucun benchmark actuel ne capture cette dynamique. Ce constat dépasse le seul secteur médical et touche à une question fondamentale pour l'ensemble de l'industrie de l'IA. Les benchmarks actuels, même les plus récents qui tentent d'aller au-delà des tests statiques vers des méthodes d'évaluation plus dynamiques, évaluent toujours l'IA hors du contexte humain et organisationnel où ses performances réelles se jouent. Le problème est systémique : en optimisant les modèles pour des classements déconnectés du terrain, on risque d'adopter des technologies inadaptées, de sous-estimer des risques systémiques et de se tromper sur les conséquences économiques et sociales de l'IA. La solution proposée — baptisée HAIC, pour Human–AI, Context-Specific Evaluation — consiste à évaluer les systèmes d'IA sur des horizons temporels plus longs, au sein de vraies équipes et de vrais flux de travail. Une refonte profonde de la façon dont l'industrie mesure ce qu'elle construit.

Toutes les IA échouent à ce test d’humanité

Le 27 mars 2026, l'organisation ARC Prize a publié ARC-AGI-3, la troisième itération de son benchmark conçu pour mesurer la progression des systèmes d'IA vers une intelligence artificielle générale. Contrairement aux versions précédentes, ce nouveau test cible spécifiquement les IA dites « agentiques » — capables d'agir en séquences, d'explorer un environnement et d'apprendre en cours de tâche. Les meilleurs modèles actuels, y compris les systèmes de raisonnement d'OpenAI et de Google DeepMind, obtiennent des scores encore très inférieurs aux capacités humaines moyennes. Ce résultat révèle une limite fondamentale des architectures actuelles : les grands modèles de langage excellent à reproduire des patterns vus en entraînement, mais peinent à généraliser dans des contextes inédits et interactifs. ARC-AGI-3 est conçu précisément pour être trivial pour un humain — quelques minutes suffisent — mais résistant aux techniques d'optimisation brute que l'industrie utilise pour doper ses benchmarks. Il mesure ce que Chollet appelle « l'efficience de généralisation », une capacité que les LLMs actuels ne possèdent pas structurellement. ARC-AGI a été créé par François Chollet, ingénieur chez Google et auteur de Keras, qui défend depuis des années l'idée que les benchmarks standards sont saturés et trompeurs. La première version date de 2019 ; ARC-AGI-2, publié en 2025, avait déjà mis en difficulté les meilleurs modèles. ARC Prize, l'organisation derrière le projet, offre des récompenses financières pour inciter la communauté à trouver de nouvelles approches algorithmiques. Ce troisième volet marque une accélération du défi : tant que les IA échouent ici, les proclamations d'AGI restent prématurées.

💬 Je l'attendais, celle-là. Les meilleurs modèles du monde battus par n'importe quel humain en quelques minutes sur un truc conçu pour être trivial, ça remet les pieds sur terre quand tu lis les annonces AGI de la semaine. Chollet a raison depuis le début : on optimise des benchmarks, pas de l'intelligence.

Salesforce publie VoiceAgentRAG : un routeur mémoire à deux agents qui réduit la latence de récupération RAG vocale de 316x

Salesforce AI Research a publié VoiceAgentRAG, une architecture open source à double agent conçue pour résoudre l'un des problèmes les plus critiques des assistants vocaux : la latence de récupération des données. Dans un système RAG (Retrieval-Augmented Generation) classique, chaque requête vers une base vectorielle distante introduit entre 50 et 300 millisecondes de délai réseau — un délai qui, pour la voix, consume la totalité du budget disponible avant même que le modèle de langage commence à générer une réponse. VoiceAgentRAG réduit ce délai de récupération de 316 fois, passant de 110 ms à 0,35 ms, grâce à un cache sémantique local. Sur 200 requêtes testées avec Qdrant Cloud comme base vectorielle distante, le système atteint un taux de cache hit global de 75 % (79 % sur les tours de conversation où le cache est déjà chaud), économisant 16,5 secondes de temps de récupération au total. Ce gain de performance change fondamentalement ce qui est possible dans les interfaces vocales alimentées par l'IA. Maintenir une conversation naturelle exige une réponse en moins de 200 millisecondes — contrainte que les systèmes RAG standards ne peuvent pas respecter en production. En découplant la récupération des documents de la génération de réponse, VoiceAgentRAG permet aux agents vocaux d'accéder à une base de connaissances étendue sans sacrifier la fluidité conversationnelle. L'architecture est compatible avec les principaux fournisseurs LLM (OpenAI, Anthropic, Gemini, Ollama) et les systèmes d'embedding courants, ce qui facilite son intégration dans des stacks existants. Les scénarios de conversation thématiquement cohérents, comme la comparaison de fonctionnalités, atteignent jusqu'à 95 % de cache hit ; les scénarios plus volatils descendent à 45-55 %. L'architecture repose sur deux agents parallèles coordonnés par un bus d'événements asynchrone. Le « Fast Talker » gère le chemin critique : il interroge d'abord un cache FAISS en mémoire, et ne fait appel à la base distante qu'en cas d'échec, avant de mettre le résultat en cache pour les tours suivants. Le « Slow Thinker » opère en arrière-plan : il analyse une fenêtre glissante des six derniers tours de conversation pour anticiper trois à cinq sujets probables et pré-charger les documents correspondants avant que l'utilisateur ne pose sa prochaine question. Une subtilité technique notable : le Slow Thinker génère des descriptions stylistiquement proches des documents sources plutôt que des questions, alignant ainsi les embeddings de prédiction sur ceux des textes réels dans la base. Le cache utilise un seuil de similarité cosinus de 0,40 pour les correspondances et une politique d'éviction LRU avec une durée de vie de 300 secondes. Publié en open source sur arXiv (2603.02206), VoiceAgentRAG marque une étape concrète vers des agents vocaux capables de raisonner sur des bases documentaires larges en temps réel.

Cette IA peut créer de nouveaux génomes

Evo 2 est un modèle d'IA générative développé par l'Arc Institute en collaboration avec NVIDIA, entraîné sur 9,3 trillions de nucléotides provenant de plus de 128 000 organismes. Capable de lire, comprendre et reproduire le langage génétique, il peut désormais générer des séquences d'ADN entièrement nouvelles — des génomes fonctionnels qui n'existent pas dans la nature — avec une précision sans précédent à l'échelle du génome complet. Cette capacité représente un tournant pour la biologie de synthèse et la médecine. Concevoir des génomes sur mesure ouvre la voie à la création de micro-organismes capables de produire des médicaments, décomposer des polluants ou synthétiser des matériaux biologiques complexes. Pour la recherche médicale, cela accélère potentiellement la découverte de thérapies géniques ciblées, en permettant aux chercheurs d'explorer des espaces génétiques que l'évolution naturelle n'a jamais atteints. Ce développement s'inscrit dans une vague de modèles de fondation biologiques — après AlphaFold pour les protéines, l'IA s'attaque désormais à l'ADN lui-même. La course implique des acteurs comme Google DeepMind, Genentech et plusieurs startups de biotech computationnelle. Les enjeux éthiques sont considérables : la capacité de synthétiser des génomes inédits soulève des questions de biosécurité qui poussent déjà régulateurs et scientifiques à débattre de cadres de gouvernance adaptés.