SécuritéMarkTechPost6sem

Mend.io publie un cadre de gouvernance de la sécurité IA couvrant inventaire des actifs, niveaux de risque et chaîne d'approvisionnement

Résumé IASource uniqueImpact UE

La société Mend.io, spécialisée en sécurité applicative, vient de publier un guide pratique intitulé "AI Security Governance: A Practical Framework for Security and Development Teams". Ce document s'adresse directement aux responsables AppSec, chefs d'équipes ingénierie et data scientists confrontés à une prolifération incontrôlée des outils d'IA au sein de leurs organisations. Le cadre propose quatre piliers concrets : un inventaire exhaustif des actifs IA, un système de classification des risques en trois niveaux, une gestion de la chaîne d'approvisionnement des modèles, et un modèle de maturité progressif. Le système de scoring attribue à chaque déploiement IA une note de 1 à 3 sur cinq dimensions, sensibilité des données, autorité décisionnelle, accès systèmes, exposition externe et origine dans la chaîne d'approvisionnement, pour un total entre 5 et 15. Un score de 5 à 7 place l'actif en Tier 1 (revue standard), 8 à 11 en Tier 2 (audits comportementaux trimestriels), et 12 à 15 en Tier 3, qui impose une évaluation complète, une supervision continue et un plan de réponse aux incidents opérationnel avant tout déploiement.

Ce framework répond à un problème devenu critique dans presque toutes les grandes entreprises : les outils d'IA entrent en production bien avant que les équipes sécurité n'en soient informées. Un développeur installe GitHub Copilot, une équipe produit intègre discrètement un modèle tiers dans une branche de fonctionnalité, un analyste interroge un LLM externe pour ses rapports. Résultat : des modèles traitent des données sensibles et prennent des décisions réelles sans aucun contrôle formalisé. Mend insiste sur un point souvent négligé : le niveau de risque d'un modèle peut passer brutalement du Tier 1 au Tier 3 sans que son code change, simplement parce qu'on lui a accordé un accès en écriture à une base de données de production ou qu'on l'a exposé à des utilisateurs externes. Le guide exige aussi d'appliquer le principe du moindre privilège aux systèmes IA exactement comme aux utilisateurs humains : clés API à portée restreinte, accès en lecture seule par défaut, et filtrage des sorties pour les données régulées comme les numéros de sécurité sociale, les cartes bancaires ou les clés d'API.

Le document s'inscrit dans une tendance plus large qui voit la sécurité logicielle traditionnelle s'adapter à l'ère des modèles de fondation. Mend étend notamment le concept de SBOM (Software Bill of Materials) en introduisant un "AI-BOM", qui documente non seulement les dépendances logicielles, mais aussi les datasets d'entraînement, les entrées de fine-tuning et l'infrastructure d'inférence. Face à des outils comme OpenAI, Google Gemini, Notion AI ou Codeium désormais omniprésents dans les workflows professionnels, l'enjeu est de normaliser une gouvernance qui reste encore absente dans la majorité des organisations. Le code généré par IA est traité comme une entrée non fiable, soumise aux mêmes analyses SAST, SCA et détection de secrets que le code humain, un changement de posture qui pourrait redéfinir les standards de l'industrie dans les prochains mois.

Impact France/UE

Ce cadre de gouvernance par niveaux de risque peut aider les entreprises européennes à structurer leur mise en conformité avec l'AI Act, qui impose une classification similaire des systèmes d'IA selon leur niveau de risque.

Dans nos dossiers

OpenAI Gemini

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

1MarkTechPost

Mend publie un cadre de gouvernance de la sécurité IA : inventaire des ressources, classification des risques, sécurité de la chaîne d'approvisionnement et modèle de maturité

Mend, spécialiste de la sécurité applicative, a publié un guide pratique intitulé "AI Security Governance: A Practical Framework for Security and Development Teams", destiné aux équipes de sécurité et de développement confrontées à l'essor incontrôlé des outils d'IA en entreprise. Le document part d'un constat précis : dans la quasi-totalité des organisations, les développeurs adoptent des outils comme GitHub Copilot ou des API tierces (OpenAI, Google Gemini) avant même que les équipes sécurité n'en aient connaissance. Le framework propose une réponse structurée en quatre piliers : inventaire des actifs IA, système de classification par niveau de risque, contrôle d'accès et traçabilité de la chaîne d'approvisionnement des modèles. Le coeur du dispositif repose sur un système de score allant de 5 à 15 points, évalué sur cinq dimensions : sensibilité des données, autorité décisionnelle, accès aux systèmes, exposition externe et origine dans la chaîne d'approvisionnement. Selon ce score, chaque déploiement IA est classé en Tier 1 (risque faible, revue standard), Tier 2 (risque modéré, audits comportementaux trimestriels) ou Tier 3 (risque élevé, évaluation complète, surveillance continue et plan de réponse aux incidents obligatoire). Ce cadre répond à un problème structurel croissant : le "shadow AI", c'est-à-dire les outils d'IA utilisés en production sans validation de la sécurité. Mend insiste sur le fait que la découverte de ces outils doit être non punitive, afin que les développeurs les déclarent sans crainte. Le framework souligne également que le niveau de risque d'un modèle peut changer radicalement sans modification de son code : connecter un modèle précédemment isolé à une base de données de production en écriture suffit à le faire passer du Tier 1 au Tier 3. Pour les sorties de modèles, le guide impose un filtrage actif des données réglementées (numéros de sécurité sociale, cartes bancaires, clés API) et exige que le code généré par IA soit traité comme une entrée non fiable, soumis aux mêmes analyses SAST, SCA et détection de secrets que le code écrit par des humains. Le troisième volet majeur concerne la chaîne d'approvisionnement des modèles. Mend introduit le concept d'AI Bill of Materials (AI-BOM), extension du SBOM traditionnel appliqué aux artefacts de modèles, aux jeux de données d'entraînement, aux entrées de fine-tuning et à l'infrastructure d'inférence. L'idée centrale est qu'intégrer un modèle tiers revient à hériter de la posture de sécurité de ceux qui l'ont entraîné. Ce framework s'inscrit dans un mouvement plus large de régulation de l'IA en entreprise, porté à la fois par des exigences réglementaires émergentes (EU AI Act, directives NIST) et par la multiplication des incidents liés à des modèles mal configurés ou mal cloisonnés. Mend positionne ce guide comme un point de départ accessible, non comme un programme de maturité avancée, ce qui le rend particulièrement pertinent pour les organisations qui débutent leur gouvernance IA.

UELe cadre s'aligne explicitement sur les exigences de l'EU AI Act en matière de classification des risques IA et de documentation (AI-BOM), offrant aux entreprises européennes une méthodologie concrète pour structurer leur conformité réglementaire.

SécuritéActu

1 source

2AI News

Les agents IA prennent en charge davantage de tâches : la gouvernance devient une priorité

Les agents d'intelligence artificielle capables d'agir de manière autonome se répandent rapidement dans les entreprises, mais les mécanismes de contrôle peinent à suivre le rythme. Selon une étude de Deloitte, 23 % des organisations ont déjà déployé des agents IA, et ce chiffre devrait atteindre 74 % d'ici deux ans. Pourtant, seulement 21 % déclarent disposer de garde-fous solides pour superviser leur comportement. Contrairement aux systèmes classiques qui se contentent de générer du texte ou des prédictions à partir d'une requête humaine, ces agents peuvent décomposer un objectif en étapes, prendre des décisions et interagir avec d'autres systèmes pour accomplir des tâches de bout en bout, sans intervention humaine à chaque étape. Deloitte travaille activement à aider les organisations à encadrer ces systèmes, en développant des cadres de gouvernance et des approches de conseil adaptés à cette nouvelle génération d'IA. L'enjeu central est que l'autonomie accrue des agents IA crée des risques inédits : un système qui agit seul peut emprunter des chemins imprévus, exploiter des données d'une manière non souhaitée, ou dériver progressivement de sa mission initiale au fil de ses interactions. Ces dérives sont difficiles à détecter et encore plus difficiles à corriger après coup. Pour y répondre, Deloitte préconise d'intégrer la gouvernance dès la conception, pas après le déploiement. Cela implique de définir dès le départ ce que le système est autorisé à faire, quelles données il peut utiliser, et comment il doit se comporter face à des situations ambiguës. Une fois en production, la surveillance en temps réel devient indispensable : si un agent se comporte de manière inattendue, les équipes doivent pouvoir intervenir immédiatement, suspendre certaines actions ou modifier les permissions à la volée. Dans les secteurs réglementés, cette traçabilité est aussi une obligation légale : chaque action doit être journalisée, chaque décision documentée. Cette tendance s'inscrit dans un mouvement plus large de professionnalisation de l'IA en entreprise. Pendant des années, les organisations ont déployé des outils d'IA relativement passifs, où un humain restait toujours dans la boucle décisionnelle. Le passage aux agents autonomes modifie fondamentalement cette équation et soulève une question de responsabilité : quand un système prend une mauvaise décision, qui en est comptable ? Deloitte illustre ces enjeux avec des cas concrets, comme des agents qui supervisent les performances d'équipements industriels sur plusieurs sites, détectent des signaux de défaillance via des capteurs et déclenchent automatiquement des procédures de maintenance. Ces usages montrent que la gouvernance n'est plus un sujet théorique réservé aux juristes, mais une condition opérationnelle pour que l'IA autonome puisse être déployée à grande échelle sans faire peser de risques incontrôlés sur les organisations.

UELes entreprises européennes dans les secteurs réglementés (finance, santé, industrie) sont directement concernées par ces obligations de traçabilité et de journalisation des décisions d'agents IA, qui recoupent les exigences de l'AI Act pour les systèmes à haut risque.

SécuritéActu

1 source

3MarkTechPost

Une implémentation du Microsoft Agent Governance Toolkit pour un usage sécurisé des outils d'agents IA : politiques, validations, journaux d'audit et contrôles des risques

Microsoft a publié le Agent Governance Toolkit, un cadre de référence permettant de contrôler et d'auditer les actions des agents IA avant leur exécution. Un tutoriel d'implémentation, conçu pour fonctionner directement dans Google Colab, illustre concrètement son fonctionnement : les agents ne peuvent pas exécuter directement leurs outils. Chaque action est d'abord soumise à une couche de gouvernance qui vérifie l'identité de l'agent, son score de confiance, le niveau de risque de l'opération, la sensibilité des données concernées et les règles de politique applicables. Le système repose sur des fichiers de configuration YAML définissant des règles précises : blocage des opérations destructrices en base de données (suppression ou vidage de tables), approbation humaine obligatoire pour l'envoi d'e-mails vers des destinataires externes, exécution en bac à sable des commandes shell avec filtrage de termes dangereux comme rm -rf ou chmod 777, et refus d'accès aux données sensibles pour les agents dont le score de confiance est inférieur à 0,65. Le toolkit génère également des journaux d'audit infalsifiables, permet d'activer un coupe-circuit global et offre une visualisation graphique des relations entre agents, outils, règles et résultats. Cette architecture répond à un problème croissant dans le déploiement des agents IA : l'agentivité excessive. À mesure que ces systèmes deviennent capables d'enchaîner des actions autonomes, qu'il s'agisse d'écrire dans des bases de données, d'envoyer des e-mails ou d'exécuter du code, le risque qu'ils accomplissent des opérations non souhaitées ou dommageables augmente considérablement. Le toolkit propose un modèle où chaque action peut être autorisée, refusée, mise en sandbox ou redirigée vers un processus d'approbation humaine, selon des critères déterministes et traçables. Les règles s'appuient sur la taxonomie de risques de l'OWASP pour les agents IA, notamment les catégories « Tool misuse », « Goal hijacking » et « Unauthorized action », apportant un cadre de conformité reconnu aux équipes de sécurité. La publication de ce toolkit s'inscrit dans un mouvement plus large de l'industrie pour encadrer les agents autonomes, dont la prolifération s'est accélérée depuis 2024 avec l'essor de frameworks comme LangChain, AutoGen (lui aussi développé par Microsoft) et les API d'agents d'OpenAI et Anthropic. Microsoft, qui a massivement investi dans l'IA via son partenariat avec OpenAI et l'intégration dans Azure et Copilot, se positionne ainsi comme acteur de référence sur la gouvernance de ces systèmes. Le fait que l'implémentation soit reproductible dans un notebook Colab, sans infrastructure complexe, signale une volonté claire de démocratiser ces pratiques au-delà des grandes entreprises. Les étapes naturelles incluent l'intégration de ce type de couche dans les plateformes d'orchestration existantes et l'adoption de standards communs pour l'audit des décisions IA.

UELa taxonomie de risques OWASP intégrée au toolkit s'aligne directement avec les exigences de traçabilité et de supervision humaine de l'AI Act européen, facilitant la conformité des équipes qui déploient des agents IA autonomes.

SécuritéTuto

1 source

4MIT Technology Review

Construire une gouvernance et une sécurité axées sur les agents autonomes

Alors que les agents d'intelligence artificielle s'intègrent de plus en plus dans le fonctionnement quotidien des grandes entreprises, une nouvelle menace silencieuse se profile : le manque de gouvernance de ces systèmes autonomes crée des angles morts dangereux. Selon le rapport 2026 State of AI du Deloitte AI Institute, 74 % des entreprises prévoient de déployer des agents IA d'ici deux ans. Pourtant, seulement 21 % d'entre elles disposent d'un modèle de gouvernance mature pour superviser ces agents autonomes. Les dirigeants identifient la confidentialité des données et la sécurité comme leur première préoccupation (73 %), devant la conformité légale et réglementaire (50 %) et la supervision des capacités de gouvernance (46 %). Dans de nombreuses organisations modernes, les identités non humaines (systèmes, bots, agents) dépassent déjà en nombre les identités humaines, une tendance qui va s'accélérer brutalement avec l'essor de l'IA agentique. L'enjeu est concret et immédiat : un agent mal sécurisé peut être manipulé pour accéder à des systèmes sensibles, exfiltrer des données propriétaires ou exécuter des actions non autorisées à grande échelle. Sans un plan de contrôle centralisé, ce ne sont pas des expériences isolées qui échouent, mais des déploiements entiers qui dysfonctionnent de façon imprévisible. Andrew Rafla, associé au sein de la pratique Cyber de Deloitte, résume l'exigence minimale : être capable de répondre à la question "quel agent a fait quoi, au nom de qui, avec quelles données, sous quelle politique, et peut-on le reproduire ou l'arrêter ?" Si ces réponses ne sont pas évidentes, l'entreprise n'a pas de plan de contrôle fonctionnel, seulement une exécution non maîtrisée. La gouvernance est précisément ce qui transforme des pilotes impressionnants en cas d'usage industrialisables et sûrs. Ce défi n'est pas apparu du vide. L'accélération des déploiements d'IA depuis 2023 a conduit de nombreuses entreprises à intégrer des agents dans leurs processus sans adapter leurs cadres de sécurité, conçus à l'origine pour des utilisateurs humains. Les outils classiques de gestion des identités et des accès (IAM) ne sont pas pensés pour des entités autonomes capables d'agir en chaîne et à vitesse machine. Ce rapport, produit par Insights, la branche de contenu personnalisé du MIT Technology Review, illustre une prise de conscience croissante dans l'industrie : la course à l'adoption de l'IA agentique doit impérativement s'accompagner d'une infrastructure de contrôle robuste, au risque de voir les gains de productivité annulés par des incidents de sécurité à grande échelle.

UELe déficit de gouvernance des agents IA concerne directement les entreprises européennes soumises à l'AI Act, qui impose des obligations de traçabilité, de supervision humaine et de gestion des risques pour les systèmes autonomes classés à haut risque.

SécuritéActu

1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour