Benchmarks : pourquoi le meilleur modèle d’IA n’existe pas

Face à l'absence de standard mondial pour évaluer les intelligences artificielles, plusieurs États membres de l'Union européenne développent leurs propres grilles d'évaluation, révélant des priorités nationales très différentes. La France, via ses services de renseignement, a mis au point des tests évaluant la capacité des modèles à traiter des données sensibles sans dépendre de solutions américaines comme Palantir. L'Estonie, elle, a conçu des benchmarks mesurant la résistance des IA à la désinformation russe, un enjeu de sécurité nationale hérité de sa proximité géographique et historique avec la Russie. L'Allemagne a opté pour une approche plus technique et environnementale, combinant mesure des hallucinations et suivi de la consommation électrique des modèles, reflet de ses préoccupations industrielles et écologiques. Chaque pays construit ainsi son propre référentiel, sans concertation centralisée à l'échelle européenne.

Cette fragmentation a des conséquences concrètes pour les administrations, les entreprises et les citoyens européens. Un modèle jugé excellent selon les critères allemands peut se révéler inadapté aux exigences françaises de souveraineté numérique, ou insuffisant face aux standards estoniens de robustesse informationnelle. Pour les fournisseurs de modèles d'IA, cela signifie devoir naviguer un patchwork de certifications nationales plutôt qu'un cadre unique, ce qui complique le déploiement transfrontalier de leurs solutions. Pour les citoyens, cela révèle que le choix d'une IA "fiable" n'est jamais neutre : il dépend de priorités politiques et culturelles propres à chaque nation, qu'il s'agisse de souveraineté, de sécurité informationnelle ou de transition énergétique.

Cette diversité des grilles d'évaluation s'inscrit dans un contexte plus large de tensions géopolitiques autour de la souveraineté technologique. Alors que l'UE tente de réguler l'IA via l'AI Act, l'absence de méthodologie commune pour mesurer la qualité et la sécurité des modèles illustre les difficultés à harmoniser les politiques numériques entre États membres aux priorités divergentes. Les acteurs technologiques, qu'ils soient américains, chinois ou européens, devront composer avec cette mosaïque réglementaire, tandis que la Commission européenne pourrait être amenée à arbitrer entre ces approches nationales pour éviter une fragmentation durable du marché numérique européen.