Des évaluations sur données d'entreprise synthétiques à la confiance dans le vrai Microsoft Copilot AI
Microsoft a présenté la Industry Evaluation Data Generation Platform, un dispositif destiné à tester Copilot à l'échelle de l'entreprise sans jamais toucher aux données réelles des clients. Le principe repose sur la génération d'environnements d'entreprise entièrement synthétiques, appelés « tenants » dans la terminologie Microsoft, c'est-à-dire des espaces de travail isolés avec leurs propres utilisateurs, réunions, courriels, documents et structures hiérarchiques. Ces environnements s'appuient sur des sources publiques réelles, comme les données professionnelles O*NET, les offres d'emploi en ligne et les dépôts de la SEC. La plateforme repose sur trois piliers : les environnements synthétiques, des pipelines automatisés de génération de requêtes pour créer des jeux d'évaluation de façon rapide et reproductible, et des cadres de qualité structurés qui vérifient que les données sont assez fiables pour une évaluation pertinente. Des contrôles automatisés de sécurité du contenu écartent tout matériel nuisible ou permettant d'identifier des personnes.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de Microsoft Research. Lire l'article original →
L'enjeu est considérable, puisque des millions de travailleurs du savoir utilisent chaque jour Copilot pour rédiger des documents, résumer des réunions ou retrouver de l'information. Microsoft cite l'exemple d'une organisation de santé qui demande à Copilot de résumer une réunion consacrée aux signaux de sécurité et d'en extraire des actions. Il faut alors pouvoir vérifier que la réponse est exacte, complète et fidèle à la transcription. Les jeux de test génériques passent à côté de ce type de problème, alors que des scénarios réalistes et propres à chaque secteur permettent de repérer des défaillances propres aux flux de travail réels. Le dispositif permet aussi d'établir la première base d'évaluation standardisée pour Copilot, et d'apporter une réponse à une double question : Copilot fait-il ce dont les utilisateurs ont besoin, et peut-on le démontrer sans exploiter leurs données ?
Le contexte est celui d'une tension structurelle dans l'IA d'entreprise. Les données les plus représentatives sont aussi les plus sensibles, et ne peuvent être utilisées pour l'évaluation en aucune circonstance. Les équipes recouraient jusqu'ici à de petits jeux de test conçus à la main, trop limités pour refléter la complexité d'organisations réelles, avec leurs hiérarchies, leurs historiques de projets et leurs habitudes de communication. Microsoft préfère donc produire des environnements à grande échelle, conçus comme des bases extensibles que chaque équipe peut adapter à ses besoins. L'approche, qui replace la confidentialité et la sécurité au cœur de la conception, pourrait servir de modèle à d'autres acteurs confrontés au même dilemme, à mesure que les assistants IA s'installent dans des secteurs réglementés comme la santé ou la finance.
Une évaluation sur données synthétiques limite l'usage de données clients réelles, ce qui répond aux exigences européennes de confidentialité (RGPD) dans les secteurs réglementés comme la santé et la finance.