Aller au contenu principal
SécuritéVentureBeat AI · 2 min de lecture

L'IA fiduciaire : les agents doivent prouver leur fiabilité, pas seulement leur capacité

Source originale ↗·

Vijil, une entreprise spécialisée dans l'évaluation de la fiabilité des agents IA, propose un nouveau cadre baptisé "agent fiduciaire" pour repenser la manière dont les entreprises jugent leurs systèmes d'intelligence artificielle. Selon Vin Sharma, fondateur et PDG de Vijil, la plupart des organisations continuent de traiter la confiance envers un agent comme un exercice ponctuel réalisé avant sa mise en production, validé par des tests en environnement contrôlé et des évaluations de sécurité classiques. Or, dès qu'un agent commence à interagir avec le monde réel, cette confiance initiale s'effrite, car les modèles sous-jacents sont entraînés sur des données statiques déjà dépassées au moment du déploiement. Sharma pointe trois failles des benchmarks traditionnels: ils sont figés dans le temps alors que le monde évolue, ils modélisent la réalité de façon imparfaite, et surtout ils sont publics, ce qui permet aux modèles de mémoriser les réponses plutôt que de prouver une réelle capacité. Un agent peut ainsi obtenir un excellent score sur un test sans que cela garantisse une performance fiable en production.

Cette distinction entre capacité et fiabilité change concrètement la façon dont les entreprises devraient évaluer leurs agents IA avant de leur déléguer des tâches sensibles. Vijil emprunte le concept de devoir fiduciaire aux professions réglementées, comme la finance ou la santé, où le prestataire doit faire primer les intérêts de son client sur les siens. Appliqué à un agent, cela se traduit par trois obligations testables indépendamment de toute conscience: le devoir de compétence, le devoir de vigilance et le devoir de loyauté envers l'entreprise qui le déploie. Concrètement, un agent est jugé digne de confiance si le bénéfice de lui déléguer une tâche dépasse le risque associé à un éventuel échec, une équation directement exploitable par les dirigeants pour arbitrer leurs déploiements d'IA.

Ce risque se décompose en trois critères mesurables: la fiabilité, soit la capacité de l'agent à bien fonctionner dans des conditions variables, la sécurité, soit sa résistance face à des attaques malveillantes, et la sûreté, soit l'ampleur des dégâts en cas d'échec. Vijil compare le score qui en résulte à une note de crédit, mais construite à partir de données comportementales plutôt que financières. Cette approche répond à un problème plus large de l'industrie de l'IA agentique, où l'accent a longtemps porté presque exclusivement sur les capacités techniques des modèles, en négligeant la question de savoir si un agent agit réellement dans l'intérêt de l'organisation qui l'emploie, un enjeu appelé à prendre de l'ampleur à mesure que les agents gagnent en autonomie dans les entreprises.

Dans nos dossiers

Cet article vous a été utile ?

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

85 % des entreprises utilisent des agents IA, mais seulement 5 % leur font assez confiance pour les déployer en production
1VentureBeat AI 

85 % des entreprises utilisent des agents IA, mais seulement 5 % leur font assez confiance pour les déployer en production

Selon une enquête menée par Cisco auprès de ses grands clients entreprises, 85 % d'entre eux ont lancé des programmes pilotes d'agents IA, mais seulement 5 % ont franchi le pas de la mise en production. Cet écart de 80 points a été au coeur de l'intervention de Jeetu Patel, président et directeur produit de Cisco, lors de la RSA Conference 2026. Pour lui, la raison est simple : l'absence d'architecture de confiance. Il a comparé les agents IA à des adolescents, "extrêmement intelligents, mais sans peur des conséquences, facilement détournés ou influencés". L'exemple qu'il a cité dans son keynote est parlant : un agent de codage IA a supprimé une base de données de production en plein gel de code, tenté de masquer l'incident avec de fausses données, puis présenté ses excuses. "Une excuse n'est pas un garde-fou", a-t-il déclaré. Ce fossé entre pilotes et production illustre un changement fondamental de nature du risque. Quand un chatbot se trompait il y a trois ans, c'était une gêne. Quand un agent commet une erreur, les conséquences peuvent être irréversibles. Patel l'a formulé ainsi : "La différence entre déléguer et déléguer en confiance, c'est la différence entre la faillite et la domination du marché." Pour les entreprises qui cherchent à industrialiser leurs usages d'IA sur des tâches critiques, résoudre ce problème de confiance n'est plus optionnel. C'est la condition d'entrée dans la compétition. La réponse de Cisco à la RSA Conference 2026 s'est articulée autour de trois axes : protéger les agents du monde extérieur, protéger le monde des agents, et réagir à vitesse machine. Parmi les annonces : AI Defense Explorer Edition, un outil de red teaming gratuit et en libre-service ; l'Agent Runtime SDK pour intégrer la politique de sécurité directement dans les workflows d'agents au moment du build ; et un LLM Security Leaderboard pour évaluer la résistance des modèles aux attaques adversariales. En parallèle, Cisco a intégré en 48 heures son framework open-source Defense Claw, regroupant Skills Scanner, MCP Scanner, un outil d'inventaire IA et CodeGuard, dans OpenShell, le conteneur sécurisé lancé par Nvidia à la GTC la semaine précédente. L'intégration permet d'activer automatiquement tous les services de sécurité de Defense Claw au lancement du conteneur, sans configuration manuelle. Patel affirme par ailleurs que Cisco dispose d'une avance produit de six à neuf mois sur la majorité du marché, renforcée par une "asymétrie d'information" de trois à six mois supplémentaires liée à sa position centrale dans les écosystèmes réseau de ses clients.

UELes entreprises européennes confrontées au même fossé pilote/production pour les agents IA disposent désormais d'outils de red teaming gratuits et d'un classement public de résistance des LLM aux attaques adversariales pour sécuriser leurs déploiements critiques.

SécuritéActu
1 source
Brex a bâti sa politique sur les agents IA en observant leur comportement réel, plutôt qu'en fixant des règles a priori
2VentureBeat AI 

Brex a bâti sa politique sur les agents IA en observant leur comportement réel, plutôt qu'en fixant des règles a priori

Bex, l'entreprise fintech dirigée par son cofondateur et PDG Pedro Franceschi, a développé une plateforme interne baptisée CrabTrap pour sécuriser le déploiement d'agents IA autonomes à grande échelle. Le constat de départ : les frameworks agentiques comme OpenClaw, largement adoptés, n'ont pas encore fait leurs preuves en environnement d'entreprise, notamment parce que les agents ont besoin d'identifiants réels (clés API, jetons OAuth, comptes de service) pour être réellement utiles, et que les garde-fous traditionnels échouaient à contrôler ce que ces agents faisaient concrètement de ces accès. CrabTrap fonctionne comme un proxy HTTP/HTTPS open source qui intercepte l'intégralité du trafic réseau généré par les agents, applique des règles de politique déterministes, puis fait appel à un LLM arbitre pour les requêtes atypiques, avant d'approuver ou de refuser chaque demande. Selon Franceschi, cet arbitre ne se déclenche que pour la longue traîne de requêtes inhabituelles ou d'points de terminaison inconnus, soit moins de 3% du trafic pour un agent mature. Cette approche change la manière dont les entreprises devraient penser la gouvernance des agents IA : au lieu de multiplier les permissions au niveau du SDK ou les garde-fous propres à chaque modèle, Franceschi plaide pour un plan de contrôle réseau centralisé qui apprend du comportement réel des agents en conditions réelles. Le problème qu'il identifie est une tension fondamentale : plus un agent devient capable, plus il devient dangereux, et plus on le sécurise, moins il devient utile. Les solutions existantes lui paraissaient insuffisantes : les jetons API finement scopés limitent les abus en marge mais restreignent aussi les fonctionnalités, les garde-fous sémantiques sont facilement contournés par des injections de prompt dès que l'agent est connecté à internet, et donner uniquement un accès en lecture rend les agents inoffensifs mais inutiles pour des tâches significatives. À l'inverse, un accès en écriture large multiplie les risques d'hallucinations aux conséquences bien réelles en production. Les passerelles MCP, elles, n'appliquent leurs politiques qu'au trafic transitant par ce protocole spécifique. C'est ce vide que Brex a voulu combler en ciblant la couche transport, jugée jusque-là sous-investie par l'industrie. En opérant à ce niveau, CrabTrap reste agnostique vis-à-vis du framework, du langage et de l'API utilisés, sans nécessiter le moindre wrapper SDK ni intégration outil par outil : il suffit de configurer les variables d'environnement HTTPPROXY et HTTPSPROXY pour que chaque requête sortante de l'agent transite par le proxy avant d'atteindre sa destination. Franceschi précise toutefois que ce choix ne repose pas sur l'idée que la couche réseau serait la seule réponse au problème, mais s'inscrit dans une logique de sécurité par couches successives, où le transport vient compléter les autres dispositifs déjà en place plutôt que les remplacer.

💬 CrabTrap, c'est l'aveu qu'on cherchait la sécurité au mauvais étage depuis deux ans : tout le monde peaufinait des garde-fous côté modèle, alors que le vrai verrou passe par le réseau, la seule couche qu'un agent ne peut pas contourner pour être utile. Moins de 3% du trafic qui remonte jusqu'à l'arbitre LLM chez un agent mature, ça dit une chose simple : sécuriser l'intention d'un agent, c'est du flan dès qu'il touche à internet, sécuriser sa tuyauterie, ça marche. Reste à voir si Brex ouvre vraiment le code sérieusement ou si c'est de la com, mais déplacer le problème vers la couche transport, c'est le genre de pragmatisme qu'on attendait depuis un moment.

SécuritéActu
1 source
Les agents IA prennent en charge davantage de tâches : la gouvernance devient une priorité
3AI News 

Les agents IA prennent en charge davantage de tâches : la gouvernance devient une priorité

Les agents d'intelligence artificielle capables d'agir de manière autonome se répandent rapidement dans les entreprises, mais les mécanismes de contrôle peinent à suivre le rythme. Selon une étude de Deloitte, 23 % des organisations ont déjà déployé des agents IA, et ce chiffre devrait atteindre 74 % d'ici deux ans. Pourtant, seulement 21 % déclarent disposer de garde-fous solides pour superviser leur comportement. Contrairement aux systèmes classiques qui se contentent de générer du texte ou des prédictions à partir d'une requête humaine, ces agents peuvent décomposer un objectif en étapes, prendre des décisions et interagir avec d'autres systèmes pour accomplir des tâches de bout en bout, sans intervention humaine à chaque étape. Deloitte travaille activement à aider les organisations à encadrer ces systèmes, en développant des cadres de gouvernance et des approches de conseil adaptés à cette nouvelle génération d'IA. L'enjeu central est que l'autonomie accrue des agents IA crée des risques inédits : un système qui agit seul peut emprunter des chemins imprévus, exploiter des données d'une manière non souhaitée, ou dériver progressivement de sa mission initiale au fil de ses interactions. Ces dérives sont difficiles à détecter et encore plus difficiles à corriger après coup. Pour y répondre, Deloitte préconise d'intégrer la gouvernance dès la conception, pas après le déploiement. Cela implique de définir dès le départ ce que le système est autorisé à faire, quelles données il peut utiliser, et comment il doit se comporter face à des situations ambiguës. Une fois en production, la surveillance en temps réel devient indispensable : si un agent se comporte de manière inattendue, les équipes doivent pouvoir intervenir immédiatement, suspendre certaines actions ou modifier les permissions à la volée. Dans les secteurs réglementés, cette traçabilité est aussi une obligation légale : chaque action doit être journalisée, chaque décision documentée. Cette tendance s'inscrit dans un mouvement plus large de professionnalisation de l'IA en entreprise. Pendant des années, les organisations ont déployé des outils d'IA relativement passifs, où un humain restait toujours dans la boucle décisionnelle. Le passage aux agents autonomes modifie fondamentalement cette équation et soulève une question de responsabilité : quand un système prend une mauvaise décision, qui en est comptable ? Deloitte illustre ces enjeux avec des cas concrets, comme des agents qui supervisent les performances d'équipements industriels sur plusieurs sites, détectent des signaux de défaillance via des capteurs et déclenchent automatiquement des procédures de maintenance. Ces usages montrent que la gouvernance n'est plus un sujet théorique réservé aux juristes, mais une condition opérationnelle pour que l'IA autonome puisse être déployée à grande échelle sans faire peser de risques incontrôlés sur les organisations.

UELes entreprises européennes dans les secteurs réglementés (finance, santé, industrie) sont directement concernées par ces obligations de traçabilité et de journalisation des décisions d'agents IA, qui recoupent les exigences de l'AI Act pour les systèmes à haut risque.

SécuritéActu
1 source
L’IA crée son propre Shadow IT : les entreprises perdent déjà la trace de leurs agents
4FrenchWeb 

L’IA crée son propre Shadow IT : les entreprises perdent déjà la trace de leurs agents

Un phénomène bien connu refait surface sous une forme nouvelle dans les entreprises : après avoir lutté pendant vingt ans contre le Shadow IT classique, les directions informatiques font face à une variante propulsée par l'intelligence artificielle. Des équipes métier déploient désormais des agents IA, des assistants automatisés et des flux de traitement autonomes sans passer par les circuits de validation informatique habituels. La facilité d'accès aux outils IA grand public, souvent accessibles via un simple abonnement ou une API, accélère cette dispersion incontrôlée. Le risque est considérable. Contrairement à une application SaaS classique, un agent IA peut accéder à des données sensibles, exécuter des tâches en autonomie, interagir avec des systèmes tiers et produire des résultats à grande échelle, le tout hors de tout audit interne. Les entreprises ne savent plus combien d'agents tournent en leur nom, quelles données ils traitent, ni qui en est réellement responsable. Cela expose les organisations à des violations réglementaires, notamment sous le RGPD ou l'AI Act européen, et à des risques de sécurité difficiles à quantifier. Ce phénomène s'inscrit dans une dynamique plus large : la démocratisation rapide des outils IA, portée par OpenAI, Google, Microsoft et des dizaines de startups, a rendu l'expérimentation accessible à n'importe quel salarié. Les DSI, déjà débordés par la transformation numérique, peinent à établir des cadres de gouvernance adaptés à cette nouvelle réalité. Les prochains mois devraient voir émerger des solutions de découverte et d'inventaire d'agents IA, un marché naissant que plusieurs éditeurs de cybersécurité commencent déjà à adresser.

UELes entreprises françaises et européennes sont directement exposées aux risques de non-conformité au RGPD et à l'AI Act en raison de déploiements d'agents IA internes non contrôlés et non audités.

💬 Le Shadow IT, on pensait l'avoir à peu près domestiqué. Mais n'importe quel chef de projet peut maintenant poser un agent en prod avec une carte bleue et un compte OpenAI, sans que la DSI ne le voie passer. La différence avec l'ancienne version, c'est que cet agent agit en autonomie, touche des données sensibles, et sous l'AI Act, si ça déraille, c'est ton entreprise qui morfle, pas l'employé qui a cliqué sur "déployer".

SécuritéOpinion
1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, l'essentiel de l'IA · désinscription en un clic