OpenAI étend l'évaluation des risques pré-déploiement au codage à base d'agents via des appels d'outils simulés
OpenAI a publié une nouvelle méthode de sécurité pré-déploiement baptisée Deployment Simulation, décrite dans un document technique mis en ligne sur son site. Le principe est simple : avant qu'un modèle soit mis en production, on simule son déploiement à l'avance. Concrètement, OpenAI rejoue des conversations réelles passées en remplaçant les réponses de l'ancien modèle par celles du nouveau candidat, puis analyse les résultats pour détecter d'éventuels comportements indésirables. La méthode est conçue pour préserver la vie privée des utilisateurs et produit une estimation du taux de comportements problématiques par message, vérifiable après la mise en ligne sur le trafic réel. La technique présente toutefois une limite inhérente : elle ne peut pas détecter des comportements qui se produisent moins d'une fois tous les 200 000 messages, ce qui la cantonne aux risques non marginaux. L'intérêt principal de cette approche réside dans ce qu'elle corrige par rapport aux évaluations traditionnelles. Celles-ci reposent sur des jeux de données synthétiques ou construits manuellement, sélectionnés pour être difficiles ou adversariaux, ce qui introduit trois biais connus : une sélection partiale des prompts, une couverture limitée, et une «conscience de l'évaluation» car le modèle peut réagir différemment à des contextes clairement artificiels. La Deployment Simulation, en s'appuyant sur une distribution représentative du trafic réel, réduit ces trois problèmes simultanément. La qualité de l'estimation croît avec la puissance de calcul disponible, et non avec l'effort humain nécessaire pour construire des benchmarks. OpenAI précise que la méthode a déjà informé des décisions de déploiement concrètes et mis en évidence des angles morts dans les évaluations classiques. Cette publication s'inscrit dans un effort plus large de l'industrie pour combler l'écart entre les tests de sécurité en laboratoire et les comportements réels des modèles en production. Les évaluations traditionnelles restent indispensables pour les risques rares et à haute sévérité, que la Deployment Simulation ne peut pas couvrir en dessous d'un certain seuil de prévalence. OpenAI présente les deux approches comme complémentaires plutôt que concurrentes. Alors que les grands laboratoires intensifient leurs travaux sur les systèmes agentiques, capables d'exécuter des tâches autonomes et d'appeler des outils externes, la question de la sécurité pré-déploiement devient plus critique. La méthode offre un cadre scalable pour anticiper les dérives avant qu'elles n'atteignent des millions d'utilisateurs, ce qui représente un pas méthodologique concret dans un domaine où les standards restent encore largement à construire.
UECette méthodologie pourrait servir de référence pour les obligations d'évaluation des risques pré-déploiement imposées par l'AI Act européen aux fournisseurs de systèmes d'IA à haut risque.
