Les benchmarks pour l'IA sont défaillants. Voici ce qu'il faudrait à la place
Les systèmes d'intelligence artificielle sont presque universellement évalués par des benchmarks qui mesurent leurs performances face à des humains sur des tâches isolées, précision sur des scans médicaux, résolution de problèmes mathématiques, génération de code. Ces tests produisent des scores impressionnants : 98 % de précision, vitesses record, résultats spectaculaires. Sur la base de ces chiffres, gouvernements et entreprises décident d'adopter des modèles en y engageant des ressources financières et techniques considérables. Mais une fois déployés dans des environnements réels, l'écart entre le score du benchmark et la performance effective devient rapidement visible. Des chercheurs comme Ari Ezra Waldman, qui étudie le déploiement de l'IA dans des PME, des hôpitaux, des ONG et des universités aux États-Unis, au Royaume-Uni et en Asie depuis 2022, documentent ce fossé de manière systématique.
Résumé et traduction réalisés par Le Fil IA à partir de MIT Technology Review. Lire l'article original →
L'exemple de la radiologie médicale est particulièrement révélateur. Des modèles d'IA approuvés par la FDA lisent des scanners plus vite et plus précisément que des radiologues experts, sur le papier. Dans des hôpitaux en Californie et à Londres, le personnel utilisant ces outils hautement classés constatait qu'il lui fallait du temps supplémentaire pour interpréter les sorties de l'IA en fonction des normes de reporting propres à chaque établissement et des exigences réglementaires nationales. Ce qui devait être un outil de productivité introduisait en réalité des délais. La raison est structurelle : les benchmarks testent l'IA en vase clos, tandis que les décisions médicales réelles émergent de équipes pluridisciplinaires, radiologues, oncologues, infirmières, qui débattent collectivement sur plusieurs jours ou semaines, en intégrant les préférences des patients et des compromis complexes entre standards professionnels et bien-être à long terme. Aucun benchmark actuel ne capture cette dynamique.
Ce constat dépasse le seul secteur médical et touche à une question fondamentale pour l'ensemble de l'industrie de l'IA. Les benchmarks actuels, même les plus récents qui tentent d'aller au-delà des tests statiques vers des méthodes d'évaluation plus dynamiques, évaluent toujours l'IA hors du contexte humain et organisationnel où ses performances réelles se jouent. Le problème est systémique : en optimisant les modèles pour des classements déconnectés du terrain, on risque d'adopter des technologies inadaptées, de sous-estimer des risques systémiques et de se tromper sur les conséquences économiques et sociales de l'IA. La solution proposée, baptisée HAIC, pour Human, AI, Context-Specific Evaluation, consiste à évaluer les systèmes d'IA sur des horizons temporels plus longs, au sein de vraies équipes et de vrais flux de travail. Une refonte profonde de la façon dont l'industrie mesure ce qu'elle construit.
Les régulateurs et entreprises européens qui s'appuient sur des benchmarks pour certifier ou déployer des systèmes IA dans des secteurs réglementés (santé, finance) au titre de l'AI Act pourraient prendre des décisions d'adoption inadaptées si ces métriques ne reflètent pas les performances réelles en contexte opérationnel.