BusinessVentureBeat AI · 21 juil. 2026, 22:15· 2 min de lecture

Évaluations : le nouveau document de référence des produits IA, selon la responsable IA d'Expedia à VB Transform 2026

Xavi Amatriain, premier directeur de l'IA et des données d'Expedia Group, a affirmé la semaine dernière lors de VB Transform 2026 à Menlo Park que "les nouveaux cahiers des charges, ce sont les evals". Selon lui, les équipes doivent désormais coder ce qu'elles attendent d'un produit directement dans les évaluations, incluant des tests de red teaming et des exigences de sécurité, avant même d'écrire la moindre ligne de code. Amatriain a rejoint Expedia en décembre 2025 après avoir occupé le poste de vice-président IA et Compute Enablement chez Google, où il a travaillé sur les plateformes derrière Gemini et Google Search ; il a aussi mentoré des personnes qui ont fondé Perplexity et Scale AI. Une étude VB Pulse de VentureBeat, menée auprès de 157 entreprises, montre que 66% d'entre elles autorisent déjà un déploiement en production sans revue humaine ou prévoient de le faire dans les douze prochains mois, alors que seulement 5% font pleinement confiance aux évaluations automatisées censées justifier cette décision. La moitié des entreprises interrogées a déjà mis en production un agent ayant réussi ses tests internes avant d'échouer face à un client réel.

Cette tension entre rapidité de déploiement et fiabilité réelle des tests est au cœur du débat sur la gouvernance de l'IA en entreprise. Amatriain estime que les garde-fous excessifs nuisent à la boucle de rétroaction : trop de règles biaisent le comportement des utilisateurs et faussent l'apprentissage du système, ce qui rend les garde-fous un "mal nécessaire" dont l'impact doit être minimisé avec le temps. D'autres intervenants de la conférence ont contesté cette position, jugeant que les actions à haut risque exigent au contraire des barrières strictes. Ce désaccord illustre un enjeu très concret pour l'industrie : comment accélérer le déploiement d'agents autonomes sans exposer les utilisateurs à des défaillances coûteuses, alors même que la confiance dans les outils d'évaluation reste faible.

Chez Expedia, la gouvernance repose sur trois couches : des principes de haut niveau diffusés largement dans l'organisation, des processus et outils qui leur donnent une portée concrète, puis une automatisation qui s'appuie sur les deux premières. Concrètement, l'entreprise a mis en place des "toll gates" de mise en production, des points de contrôle calibrés selon le niveau de risque de chaque agent, où les évaluations, le red teaming et les revues de sécurité passent de recommandés à obligatoires à mesure que les enjeux augmentent. Amatriain a également rejeté l'idée d'une intelligence artificielle générale unifiée, préférant une architecture composée d'agents spécialisés : des outils assemblés en compétences, des compétences regroupées en sous-agents, eux-mêmes orchestrés en un système agentique complet, conçu autour de principes communs de ton, de contexte et de mémoire.

Dans nos dossiers

Perplexity AI Gemini Agents IA

Cet article vous a été utile ?

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

1VentureBeat AI

Chez Zillow, le responsable ingénierie affirme au VB Transform 2026 que le ROI de l'IA ne tient que s'il est mesuré avant le développement

Ces derniers mois, la question du retour sur investissement de l'intelligence artificielle en entreprise est revenue au centre des débats lors de la conférence VB Transform 2026, où Toby Roberts, vice-président senior de l'ingénierie chez Zillow, et Arvind Jain, cofondateur et directeur général de Glean, ont détaillé l'architecture bâtie pour gérer des parcours clients complexes. Zillow, plateforme immobilière qui intervient dans environ 80% des transactions immobilières aux États-Unis chaque année, fait face à un défi particulier : ses clients passent d'un appel téléphonique à un conseiller en prêt puis à un agent immobilier, parfois sur plusieurs mois, et s'attendent à ce que le contexte de leur dossier les suive tout au long du processus. Un simple chatbot ne pouvait pas porter ce fil conducteur. L'entreprise a donc construit sa propre couche de contexte persistante plutôt que de dépendre d'une seule interface de conversation externe, une décision prise rapidement une fois que l'équipe a examiné la réalité d'une transaction complète plutôt qu'une conversation isolée. Contrairement à l'idée reçue selon laquelle la donnée est l'obstacle principal des projets d'IA en entreprise, Roberts a expliqué que chez Zillow, la vraie difficulté n'était pas là : l'entreprise avait déjà posé des bases solides avec une architecture en maillage de données, une traçabilité claire et une gouvernance intégrant permissions et identité. Le vrai problème a été de construire un système capable de se souvenir où en était un client dans son parcours et de transmettre cette information peu importe la plateforme utilisée ensuite. Cette approche a des conséquences concrètes pour les entreprises qui déploient de l'IA agentique à grande échelle : Zillow a pu attribuer de manière crédible une hausse de 40% du code livré à l'adoption de l'IA, mais uniquement parce qu'elle disposait déjà d'une base de métriques DORA établie des années avant le déploiement de l'IA, et non grâce au déploiement lui-même. Autrement dit, mesurer l'impact réel de l'IA suppose d'avoir fixé un point de référence avant de se lancer, pas après. Sur le plan technique, Zillow s'appuie sur vingt ans d'historique en apprentissage automatique, hérité de produits comme Zestimate, pour privilégier des modèles plus petits et spécialisés plutôt qu'un modèle généraliste unique. En parallèle, l'entreprise utilise des milliers d'agents Glean en production, gérant des tâches répétitives avec des dizaines de milliers d'exécutions. Jain a présenté deux leviers de réduction des coûts propres à la plateforme de Glean : le routage vers des modèles moins chers pour la majorité des tâches, et un contexte précalculé qui évite à un agent de consommer des tokens à reconstruire son contexte à chaque requête, ce qui peut diviser par deux la consommation de tokens par rapport à un modèle comme Claude, plus lent selon lui car l'assemblage initial du contexte prend du temps. Jain insiste aussi sur l'intérêt de centraliser cette intégration une seule fois via la passerelle Glean MCP plutôt que de laisser chaque service, finance, juridique ou marketing, reconstruire ses propres connexions aux mêmes systèmes, un coût caché que la plupart des entreprises n'ont pas anticipé. Enfin, même avec une plateforme consciente des permissions, Zillow a ajouté des règles strictes et un contrôle de conformité permanent pour ses catégories de données les plus sensibles, refusant de faire confiance uniquement à l'héritage automatique des droits d'accès.

BusinessActu

1 source

2VentureBeat AI

Cohere : la souveraineté de l'IA en entreprise exige le contrôle de toute la pile agentique, selon sa VP à VB Transform 2026

Je vais rédiger l'article en français selon les consignes (3 paragraphes, sans titres, sans tirets cadratins). Lors de VB Transform 2026, la conférence phare consacrée aux agents d'intelligence artificielle générative dans l'entreprise, qui s'est tenue cette semaine à l'Hôtel Nia de Menlo Park devant des centaines de dirigeants et experts techniques, Rachad Alao, vice-président de l'ingénierie produit chez la startup canadienne Cohere, a détaillé sa vision de la souveraineté de l'IA en entreprise lors d'un entretien avec Matt Marshall, PDG et rédacteur en chef de VentureBeat. Alao, qui a auparavant dirigé les équipes d'IA responsable et de sécurité chez Google et Meta, a expliqué que la souveraineté ne se limite pas à télécharger un modèle ouvert ou à faire tourner une application derrière un pare-feu d'entreprise. Pour des organisations gérant des systèmes critiques comme les banques, les hôpitaux ou les administrations, il faut selon lui un contrôle total sur la localisation des données, sur les juridictions concernées, mais aussi sur l'ensemble de la chaîne technique : GPU, cloud privé, systèmes de gouvernance, connecteurs et outils de recherche utilisés par les agents. Interrogé sur la baisse rapide des prix de l'inférence, qui pourrait affaiblir l'argument en faveur de modèles plus petits et optimisés, Alao a répondu que la consommation totale de tokens augmente encore plus vite, à mesure que les entreprises passent de simples chatbots à des agents capables de raisonner, d'appeler des outils et d'enchaîner plusieurs étapes avant de répondre. Il a aussi opposé le modèle économique de Cohere, qui ne facture pas ses clients au token consommé, à celui de fournisseurs dont l'intérêt est de maximiser cette consommation. Sa recommandation est de router chaque tâche vers le modèle adapté selon le niveau d'intelligence requis et la sensibilité des données, une approche qu'applique déjà une banque canadienne non nommée utilisant les modèles on-premises de Cohere pour les tâches réglementées et sa plateforme North pour des besoins plus complexes mais moins sensibles. Cette stratégie s'appuie sur les récents modèles de Cohere, dont North Mini Code, sorti le mois dernier, un modèle open source dédié à la programmation agentique qui fonctionne sur un seul GPU Nvidia H100 et se révèle, selon Alao, plus efficace et moins coûteux que les modèles propriétaires pour 80% des cas d'usage des développeurs, même si les plus grands modèles frontières gardent un léger avantage sur les tâches les plus difficiles. Cohere a également lancé Command A+, un modèle à mélange d'experts de 218 milliards de paramètres dont seulement 25 milliards sont actifs à chaque étape de génération, avec une version compressée en quatre bits qui réduit encore les besoins matériels. Ces annonces s'inscrivent dans une compétition plus large entre fournisseurs d'IA d'entreprise, où la maîtrise de l'ensemble de la pile technologique devient un argument commercial face aux géants du secteur.

BusinessActu

1 source

3VentureBeat AI

L'IA générative rapide et fiable, pas sa capacité, freine son adoption en entreprise, selon le directeur AGI d'Amazon (VB Transform 2026)

Lors de VB Transform 2026, mardi, Bryan Silverthorn, directeur de l'autonomie AGI chez Amazon, arrivé dans l'entreprise via son rachat d'Adept AI et qui dirige aujourd'hui l'entraînement des agents multimodaux au sein du laboratoire AGI du groupe, a expliqué pourquoi les agents IA peinent à passer du pilote à la production. Selon des données de Cisco, 85 % des entreprises testent des agents IA mais seulement 5 % les ont réellement déployés en production. Silverthorn propose de décomposer la fiabilité en quatre dimensions distinctes, à savoir la cohérence, la robustesse, la prévisibilité et la sécurité, un cadre qu'il attribue à des recherches menées à Princeton. Il illustre le problème avec l'exemple d'un client ayant déployé un agent chargé d'extraire des numéros de série depuis des écrans dans le cadre de tests logiciels : l'agent a fonctionné parfaitement pendant deux mois avant de commencer à lire des chiffres erronés par intermittence, un défaut causé par un encodeur visuel réagissant différemment selon la position du numéro à l'écran, déclenché par une modification logicielle imperceptible pour un humain. Une étude interne de VentureBeat, présentée avant la session, confirme ce constat : la moitié des entreprises interrogées ont déployé des agents ayant réussi leurs évaluations internes mais ayant échoué face aux vrais clients, la plupart des sociétés surveillant la disponibilité de leurs agents sans jamais vérifier leur exactitude. Ce décalage entre évaluation et réalité a des conséquences concrètes pour l'ensemble de l'industrie de l'IA d'entreprise. Il révèle que la plupart des sociétés se contentent des évaluations fournies par les éditeurs de modèles, sans dispositif de contrôle supplémentaire, ce qui revient, selon Silverthorn, à un pari entre faire confiance au fournisseur ou ne faire confiance à rien. Pour les entreprises bloquées dans cette phase de pilotes sans déploiement réel, le message est clair : améliorer les modèles ne suffit pas, il faut aligner la rigueur des mesures sur les enjeux réels de chaque application. Chez Amazon, cette philosophie s'incarne dans une culture interne où les chercheurs surnomment leurs agents des "stagiaires", capables de prouesses impressionnantes comme de dérapages spectaculaires, nécessitant des compétences de management plutôt que de simple ingénierie logicielle : anticiper les erreurs possibles, prévoir des systèmes de secours et des options d'annulation, et accepter consciemment un certain niveau de risque. Le laboratoire d'Amazon assume ce compromis, tolérant qu'un agent lance parfois la mauvaise expérience en échange d'une vitesse de recherche accrue, un agent menant même des expériences en continu selon son propre plan de recherche. Silverthorn reste prudent sur l'auto-amélioration des IA, qu'il juge encore lointaine, tandis qu'un client du transport routier utilise déjà l'automatisation de navigateur pour unifier des réclamations de garantie éparpillées entre plusieurs systèmes, les futurs agents devant combiner cet usage avec des API et d'autres outils plutôt que s'y limiter.

BusinessOpinion

1 source

4VentureBeat AI

L'écart d'évaluation des agents : les organisations d'IA en entreprise ont un problème d'alignement avec la réalité, pas de couverture, et déploient quand même en production

Cent cinquante-sept entreprises ont participé à cette enquête menée par VentureBeat en juin 2026 dans le cadre de sa série Pulse Research, consacrée à la manière dont les organisations évaluent la fiabilité de leurs agents IA. Le constat central est frappant: la moitié des entreprises interrogées ont déployé, au cours de l'année écoulée, un agent ou une fonctionnalité basée sur un LLM qui avait pourtant réussi ses tests internes avant de provoquer un incident visible par les clients, et un quart d'entre elles ont connu ce type de défaillance plus d'une fois. Seules 5% des organisations disent faire pleinement confiance à leurs méthodes d'évaluation automatisée, la faiblesse la plus souvent citée (29%) étant le décalage entre les résultats des tests et les performances réelles en production. Malgré cela, 66% des entreprises autorisent déjà un déploiement entièrement automatisé, sans supervision humaine, pour les agents jugés à faible risque (34%), ou construisent activement leurs systèmes pour y parvenir dans les douze prochains mois (33%). L'échantillon, composé à 38% de décideurs finaux et 34% de personnes influentes dans les achats technologiques, provient majoritairement d'entreprises de taille moyenne, entre 100 et 2500 salariés, avec le secteur technologique en tête (23%), suivi du commerce de détail (15%) et de la santé (12%). Ce décalage entre l'autonomie accordée aux agents et la confiance réelle dans les outils censés la contrôler pose un problème concret pour les entreprises qui accélèrent l'adoption de l'IA agentique. Si un agent passe ses tests puis échoue devant un client, c'est la réputation de l'entreprise, sa relation commerciale et potentiellement sa conformité réglementaire qui sont en jeu. Le fait que les organisations avancent malgré tout vers plus d'automatisation, avec moins de supervision humaine, signifie qu'elles acceptent un risque opérationnel croissant sans disposer des garde-fous adéquats. Pour les équipes techniques, cela traduit une pression du marché à déployer vite, quitte à improviser la gouvernance des risques après coup plutôt qu'avant. Ce phénomène s'explique en partie par l'immaturité des outils d'évaluation disponibles: l'étude montre que les outils natifs fournis par les fournisseurs de modèles arrivent à égalité avec l'absence totale d'outillage dédié comme solution la plus répandue (17% chacun), et seulement un quart des entreprises effectuent des contrôles qualité en temps réel sur leur trafic de production réel. L'écosystème des plateformes de fiabilité et d'évaluation des agents reste donc fragmenté, ce qui alimente un cercle vicieux: plus les entreprises automatisent leurs déploiements, plus elles auraient besoin d'évaluations robustes, alors que ces dernières peinent justement à suivre le rythme de l'adoption. Les auteurs de l'étude soulignent que l'échantillon, bien que suffisamment large pour dégager des tendances, reste auto-sélectionné et penché vers le marché intermédiaire, ce qui invite à lire ces résultats comme un signal directionnel plutôt qu'une mesure précise de l'ensemble du marché.

BusinessActu

1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, l'essentiel de l'IA · désinscription en un clic