Confiance en profondeur : donner plus d'autonomie aux agents sans perdre le contrôle
Les dirigeants d'entreprise formulent tous le même constat auprès d'AWS : ils veulent que les agents d'IA en fassent davantage, mais ne leur font pas confiance pour agir correctement en permanence. La créativité qui rend un agent utile le rend aussi imprévisible. Face à une tâche, il choisit ses outils et ordonne ses étapes sans script préétabli, et deux exécutions identiques peuvent suivre des chemins différents. Un test réussi aujourd'hui dit donc peu de ce que l'agent fera demain. AWS propose une approche baptisée « Trust in Depth », qui s'appuie sur quatre questions posées à différents moments du cycle de vie de l'agent : définir son périmètre avant l'exécution (à quoi sert-il, de quelles capacités a-t-il besoin, que lui est-il interdit de faire), l'identifier au déploiement (qui l'a autorisé, quelle identité porte-t-il), borner ses actions pendant l'exécution, puis reconstituer ce qu'il a fait et pourquoi après chaque run. Pour les règles qui peuvent s'énoncer précisément, comme « seul un manager peut approuver un accès », AWS mise sur le raisonnement automatisé, une logique mathématique qui vérifie qu'une règle tient dans tous les cas possibles ou qui exhibe le cas exact où elle échoue.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de AWS ML Blog. Lire l'article original →
L'enjeu est considérable pour les entreprises. La réponse habituelle consiste à placer un humain dans la boucle pour valider chaque action, mais cela ne passe pas à l'échelle : les approbations s'accumulent, la fatigue de relecture s'installe et les réviseurs finissent par manquer les erreurs qui comptent. La prudence devient alors un goulot d'étranglement, et des agents capables de beaucoup plus restent cantonnés à des tâches secondaires. Le principe défendu est de laisser l'agent agir seul lorsque ses actions peuvent être vérifiées, et de réserver le jugement humain aux décisions qui l'exigent. Cela devient crucial quand les agents s'attaquent à des tâches à enjeux élevés, comme les transactions financières, où une mauvaise action cause des dégâts croissants. Là où la défense en profondeur limite ce qui peut mal tourner, la confiance en profondeur vise à élargir ce que l'on peut autoriser en sécurité.
Cette approche prolonge la logique de « Defense in Depth », la superposition de couches de sécurité indépendantes pratiquée par l'industrie depuis une vingtaine d'années. Le filtrage de contenu, les tests et la surveillance ont chacun leur utilité, mais aucun ne garantit seul que l'agent se comportera correctement à la prochaine exécution. AWS souligne qu'il pratique le raisonnement automatisé en production depuis plus de dix ans : il protège le service IAM, qui traite plus de 2,1 milliards de requêtes par seconde, ainsi que des systèmes critiques comme l'hyperviseur AWS Nitro, Amazon S3 Block Public Access et VPC Reachability Analyzer. Le groupe l'étend désormais aux agents. La limite est reconnue : une preuve ne vaut que par ses règles et hypothèses de départ, d'où l'importance du travail en amont. Des exigences comme « garder un ton aimable » échappent à la démonstration formelle. Pour elles, il faut restreindre l'accès et les actions de l'agent, évaluer son comportement et faire remonter l'ambiguïté réelle à un jugement humain.
Pas d'impact direct sur la France/UE