Franchir le seuil : comment OpenAI et Anthropic abordent l'autonomie et la sécurité des agents financiers
À la conférence AI Engineer New York, qui se tient cette semaine, l'équilibre entre autonomie des agents, sécurité et sûreté a été l'un des grands fils conducteurs, côté laboratoires comme côté acteurs financiers. Joseph Kim, responsable de ChatGPT for Financial Services chez OpenAI, a défendu dans sa keynote l'idée d'un « seuil d'utilité », soit le point où un modèle devient assez capable et fiable pour faire gagner du temps. Selon lui, la progression des modèles va bientôt faire franchir ce seuil aux analystes financiers, qui pourront déléguer davantage de tâches à des agents. Il a avancé des prévisions pour 2027 : le secteur dépendra moins d'Excel et de PowerPoint, et les agents seront assez bons pour la génération d'idées d'investissement et le trading. Il a aussi insisté sur la traçabilité, car en finance il faut pouvoir vérifier l'origine d'un chiffre et son contexte. OpenAI a donc voulu que cette vérification fasse partie de l'expérience du produit. John Feminella, vice-président architecture chez le hedge fund Two Sigma, a présenté cinq contrôles mis en place pour encadrer les agents sans brider les modèles.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de Latent Space. Lire l'article original →
Le message commun est que la sûreté d'une autonomie accrue dépend de l'endroit où l'on place les contrôles et le jugement humain, et non du nombre de restrictions imposées. Pour les équipes qui conçoivent des agents financiers, cela déplace la question : il ne s'agit plus de savoir s'il faut un humain dans la boucle, mais ce que l'utilisateur doit encore contrôler, relire ou approuver. Kim y voit un choix de conception de produit que l'on peut traiter dès maintenant. Feminella a pointé un écueil concret, la « fatigue d'approbation » : une personne qui valide tout freine l'innovation et ajoute du risque, car son attention baisse face au volume de décisions. Pour lui, sécurité et innovation ne sont pas les deux extrémités d'un spectre.
Chez Two Sigma, ces contrôles sont des garde-fous et des capacités partagées, conçus pour ne pas gêner le travail des équipes. Ils sont composables : chacun remplit une seule fonction, et leur combinaison permet de faire tourner des agents avec une réelle autonomie à un niveau de sécurité approprié. L'un d'eux repose sur des classificateurs en mode automatique, qui tranchent les appels de routine et n'envoient à une personne que les demandes les plus importantes, celles qui ont le plus de chances de changer quelque chose. Feminella a précisé que les classificateurs conviennent aux cas ambigus, tandis que les règles déterministes restent préférables pour les cas clairs. Anthropic a présenté un cadre voisin, pensé pour instaurer la confiance dans les flux de travail financiers agentiques : donner du contexte aux agents, puis définir les limites de cette confiance. Le mois dernier, l'entreprise a lancé Claude for Financial Advisors, qui permet aux conseillers financiers de connecter leurs systèmes à Claude. Cette convergence entre OpenAI, Anthropic et un acteur de la finance quantitative laisse penser qu'une approche commune des agents en finance est en train de se dessiner.
Pas d'impact direct sur la France/UE