Évaluations : le nouveau document de référence des produits IA, selon la responsable IA d'Expedia à VB Transform 2026
Xavi Amatriain, premier directeur de l'IA et des données d'Expedia Group, a affirmé la semaine dernière lors de VB Transform 2026 à Menlo Park que "les nouveaux cahiers des charges, ce sont les evals". Selon lui, les équipes doivent désormais coder ce qu'elles attendent d'un produit directement dans les évaluations, incluant des tests de red teaming et des exigences de sécurité, avant même d'écrire la moindre ligne de code. Amatriain a rejoint Expedia en décembre 2025 après avoir occupé le poste de vice-président IA et Compute Enablement chez Google, où il a travaillé sur les plateformes derrière Gemini et Google Search ; il a aussi mentoré des personnes qui ont fondé Perplexity et Scale AI. Une étude VB Pulse de VentureBeat, menée auprès de 157 entreprises, montre que 66% d'entre elles autorisent déjà un déploiement en production sans revue humaine ou prévoient de le faire dans les douze prochains mois, alors que seulement 5% font pleinement confiance aux évaluations automatisées censées justifier cette décision. La moitié des entreprises interrogées a déjà mis en production un agent ayant réussi ses tests internes avant d'échouer face à un client réel.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de VentureBeat AI. Lire l'article original →
Cette tension entre rapidité de déploiement et fiabilité réelle des tests est au cœur du débat sur la gouvernance de l'IA en entreprise. Amatriain estime que les garde-fous excessifs nuisent à la boucle de rétroaction : trop de règles biaisent le comportement des utilisateurs et faussent l'apprentissage du système, ce qui rend les garde-fous un "mal nécessaire" dont l'impact doit être minimisé avec le temps. D'autres intervenants de la conférence ont contesté cette position, jugeant que les actions à haut risque exigent au contraire des barrières strictes. Ce désaccord illustre un enjeu très concret pour l'industrie : comment accélérer le déploiement d'agents autonomes sans exposer les utilisateurs à des défaillances coûteuses, alors même que la confiance dans les outils d'évaluation reste faible.
Chez Expedia, la gouvernance repose sur trois couches : des principes de haut niveau diffusés largement dans l'organisation, des processus et outils qui leur donnent une portée concrète, puis une automatisation qui s'appuie sur les deux premières. Concrètement, l'entreprise a mis en place des "toll gates" de mise en production, des points de contrôle calibrés selon le niveau de risque de chaque agent, où les évaluations, le red teaming et les revues de sécurité passent de recommandés à obligatoires à mesure que les enjeux augmentent. Amatriain a également rejeté l'idée d'une intelligence artificielle générale unifiée, préférant une architecture composée d'agents spécialisés : des outils assemblés en compétences, des compétences regroupées en sous-agents, eux-mêmes orchestrés en un système agentique complet, conçu autour de principes communs de ton, de contexte et de mémoire.
Pas d'impact direct sur la France/UE