Comment les entreprises évaluent leurs agents IA avec de vieux logiciels
Alors que les entreprises confient des tâches de plus en plus critiques à des agents d'intelligence artificielle, Scale AI développe une nouvelle méthode pour évaluer leur fiabilité : des « vérificateurs programmatiques », c'est à dire des logiciels classiques chargés de noter le travail des agents, plutôt que de faire appel à une autre IA comme juge. Brad Kenstler, directeur des agents généraux chez Scale AI, explique que cette approche répond à une demande croissante des clients de l'entreprise. Scale AI discute actuellement de la mise en place de ces outils avec l'ensemble de ses clients, parmi lesquels la Mayo Clinic, le groupe immobilier et financier Howard Hughes, ainsi que l'éditeur de contenus pédagogiques Cengage.
Résumé et traduction réalisés par Le Fil IA à partir de The Information AI. Lire l'article original →
Cette évolution marque un tournant dans la manière dont l'industrie mesure la performance des agents IA. Évaluer un modèle de langage classique est relativement simple, mais juger un agent autonome, capable d'enchaîner des actions variées pour accomplir une tâche complexe, pose un défi bien plus grand. Utiliser du code déterministe pour vérifier des résultats concrets, plutôt qu'un modèle d'IA susceptible d'halluciner ou de se tromper dans son propre jugement, renforce la fiabilité des évaluations. Pour des secteurs sensibles comme la santé, la finance ou l'immobilier, cette rigueur devient indispensable avant de confier des opérations à fort enjeu à des systèmes automatisés.
Ce virage s'inscrit dans une tendance plus large : à mesure que les agents IA sortent des cas d'usage expérimentaux pour entrer dans des processus métier réels, les entreprises cherchent des garanties plus solides que de simples retours qualitatifs. Selon Brad Kenstler, les entreprises clientes de Scale AI gagnent en sophistication dans leur manière d'aborder ces déploiements, signe que le marché de l'évaluation des agents devient lui même un enjeu stratégique. La multiplication de ces vérificateurs programmatiques pourrait à terme s'imposer comme un standard de fait pour certifier la fiabilité des agents avant leur mise en production, dans un contexte où la confiance reste le principal frein à l'adoption massive de l'automatisation par IA en entreprise.
Pas d'impact direct sur la France/UE