Comment Standard Bank Group automatise l'évaluation des risques de l'IA générative
Standard Bank Group, l'un des plus grands groupes bancaires d'Afrique, a déployé avec AWS Professional Services un système automatisé qui évalue chaque cas d'usage d'IA générative au regard des normes internationales et de ses propres politiques. L'outil produit des rapports et un tableau de bord indiquant ce qui est déjà en place, ce qui fonctionne bien et ce qui nécessite encore des mesures correctives. Il s'exécute entièrement dans le compte AWS de la banque : documents, code et résultats de tests restent dans un bucket Amazon S3, l'AWS Well-Architected Tool gère la collecte initiale, AWS Step Functions orchestre le processus et un modèle de fondation sur Amazon Bedrock évalue les preuves selon la technique du « LLM-as-a-judge », où un grand modèle de langage vérifie des éléments par rapport à des critères définis. Chaque évaluation suit quatre étapes. Un agent de pré-évaluation, exécuté sur AWS Fargate, parcourt le dépôt de code et la documentation, associe les fichiers pertinents à une quarantaine de questions portant sur des événements de risque (documentation technique incomplète, supervision humaine insuffisante) et préremplit une grille personnalisée avec des réponses et des liens vers les preuves. L'équipe de développement corrige ensuite les erreurs et ajoute les éléments manquants. Le système examine alors quatre types de preuves : la documentation du système, les documents de politique (rôles, responsabilités, gestion des incidents), le code source avec le prompt système, et des appels réels à l'application pour observer son comportement. Les preuves sont ensuite confrontées aux contrôles, puis les résultats sont synthétisés dans un format standard et remis aux personnes chargées d'agir.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de AWS ML Blog. Lire l'article original →
L'enjeu est celui de la vitesse de la gouvernance. Les équipes peuvent désormais construire une application d'IA générative en quelques jours, mais chacune doit encore obtenir l'aval d'un comité des risques avant d'atteindre clients ou employés. Quand cette validation repose sur la lecture manuelle de documents et des tests faits à la main, elle devient l'étape la plus lente de la chaîne. En automatisant la collecte de preuves et les tests, la banque garantit que le comité fonde ses décisions sur des éléments cohérents, recueillis de la même manière d'un projet à l'autre, sans lui retirer son pouvoir d'approbation. Le choix d'Amazon Bedrock répond aussi à des exigences de contrôle : l'accès au modèle est géré via AWS IAM comme pour les autres charges de travail, les prompts et sorties ne sont pas partagés avec les fournisseurs de modèles ni utilisés pour les entraîner, et passer à un modèle juge plus récent revient à modifier un paramètre de configuration plutôt qu'à reconstruire le pipeline.
Cette initiative s'inscrit dans une logique de continuité plutôt que de rupture. Standard Bank Group n'a pas créé de nouvelle politique d'IA : comme la plupart des grandes banques, il disposait déjà d'une pratique établie de gestion du risque de modèle, couvrant notamment l'explicabilité et l'équité, ainsi que d'un processus de gestion du risque de changement qui évalue chaque nouveau cas d'usage selon son niveau de risque avant sa mise en production. La difficulté tient au rythme de l'IA générative : modèles et outils évoluent tous les trois à six mois, alors que chaque usage doit continuer de satisfaire le même niveau élevé de sécurité et de conformité. Jörg Fischer, directeur groupe de l'information et de l'IA, y voit la preuve qu'une IA responsable ne consiste pas à freiner l'innovation mais à permettre de la déployer à grande échelle en confiance. La banque a tiré des enseignements de ses premières exécutions, qui devraient guider l'extension de l'approche à d'autres cas d'usage.