Aller au contenu principal
SécuritéInfoQ AI2h· 1 min de lecture

Présentation : Productivité fiable, sécuriser le développement accéléré par l'IA

Source originale ↗·

Sriram Madapusi Vasudevan, expert en sécurité des systèmes d'intelligence artificielle, a présenté une analyse détaillée des vulnérabilités critiques qui se cachent dans les agents IA autonomes déployés en production. Sa conférence porte sur le cycle ReAct (Reasoning + Acting), le mécanisme central qui permet aux agents IA de raisonner sur une tâche, d'exécuter des outils et d'intégrer les résultats pour produire une action suivante. Ce cycle, désormais omniprésent dans les systèmes d'IA agentiques, concentre trois points d'attaque distincts : le contexte injecté, le raisonnement intermédiaire, et l'exécution des outils.

Les risques identifiés sont concrets et sérieux. L'empoisonnement de mémoire permet à un attaquant d'injecter des données malveillantes dans le contexte de l'agent, corrompant ses décisions futures sans qu'aucune alerte ne soit levée. L'exécution de code non autorisé via des outils compromis représente une autre menace majeure, potentiellement dévastatrice dans des environnements où l'agent dispose d'accès à des bases de données, des API ou des systèmes internes d'entreprise. Ces failles touchent directement les équipes d'ingénierie qui intègrent des agents dans leurs pipelines de développement logiciel.

Pour contrer ces risques, Vasudevan préconise une approche de défense en profondeur combinant plusieurs couches de protection. Il recommande notamment l'utilisation d'un LLM-as-a-judge, un modèle de langage secondaire chargé de critiquer et valider les décisions du modèle principal avant toute exécution. Il s'appuie également sur le framework MAESTRO, un modèle de threat modeling spécialement conçu pour les systèmes multi-agents, encore peu adopté dans l'industrie malgré une prise de conscience croissante des risques liés à l'IA autonome.

Dans nos dossiers

Cet article vous a été utile ?

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

Microsoft publie un toolkit open source pour sécuriser les agents IA en production
1AI News 

Microsoft publie un toolkit open source pour sécuriser les agents IA en production

Microsoft a publié un toolkit open-source destiné à sécuriser les agents d'intelligence artificielle en temps réel au sein des environnements d'entreprise. Baptisé runtime security toolkit, cet outil s'intercale entre le modèle de langage et le réseau d'entreprise pour surveiller, évaluer et bloquer les actions des agents autonomes au moment précis où ils tentent de les exécuter. Concrètement, lorsqu'un agent IA déclenche un appel vers un outil externe, une base de données, un pipeline CI/CD ou un dépôt cloud, le toolkit intercepte la requête, la compare à un ensemble de règles de gouvernance centralisées, et bloque l'action si elle enfreint la politique définie. Un agent autorisé uniquement à consulter un inventaire qui tenterait de passer une commande d'achat se verrait immédiatement arrêté, et l'événement serait journalisé pour révision humaine. L'enjeu est considérable pour les équipes de sécurité et les développeurs. Les systèmes d'IA d'entreprise ne se contentent plus de répondre à des questions : ils exécutent du code, envoient des e-mails, modifient des fichiers et interagissent avec des API critiques sans intervention humaine directe. Les méthodes traditionnelles, analyse statique du code, scan de vulnérabilités avant déploiement, sont structurellement inadaptées aux modèles de langage non-déterministes. Une seule attaque par injection de prompt ou une hallucination mal orientée peut suffire à écraser une base de données ou exfiltrer des données clients. Le toolkit de Microsoft découple la politique de sécurité de la logique applicative : les développeurs n'ont plus à hardcoder des règles de sécurité dans chaque prompt, et les équipes sécurité disposent d'une piste d'audit vérifiable pour chaque décision autonome du modèle. Le choix de publier ce toolkit sous licence open-source n'est pas anodin. Les développeurs construisent aujourd'hui des workflows autonomes en combinant des bibliothèques open-source, des frameworks variés et des modèles tiers, Anthropic, Meta, Mistral ou d'autres. Un outil propriétaire lié à l'écosystème Microsoft aurait probablement été contourné au profit de solutions non vérifiées, sous pression des délais. En ouvrant le code, Microsoft permet à n'importe quelle organisation, qu'elle tourne sur des modèles locaux, sur Azure ou sur des architectures hybrides, d'intégrer ces contrôles de gouvernance sans dépendance fournisseur. L'ouverture invite aussi la communauté cybersécurité à contribuer et à empiler des outils commerciaux, tableaux de bord, intégrations de réponse aux incidents, par-dessus cette fondation commune, accélérant la maturité de tout l'écosystème. À mesure que les agents autonomes s'imposent dans les entreprises, ce type de couche de sécurité d'infrastructure pourrait devenir un standard incontournable.

UELes entreprises européennes déployant des agents IA peuvent adopter cet outil open-source pour répondre aux exigences de gouvernance et de traçabilité imposées par l'AI Act.

SécuritéOpinion
1 source
Les IA de détection de vulnérabilités réduisent les coûts de sécurité en entreprise
2AI News 

Les IA de détection de vulnérabilités réduisent les coûts de sécurité en entreprise

L'équipe d'ingénierie de Mozilla Firefox a annoncé avoir identifié et corrigé 271 vulnérabilités de sécurité dans la version 150 du navigateur, grâce à une évaluation menée avec Claude Mythos Preview, le modèle frontier d'Anthropic. Cette collaboration fait suite à un premier partenariat avec Anthropic utilisant Claude Opus 4.6, qui avait permis de détecter 22 corrections sensibles sur le plan sécuritaire dans la version 148. En quelques semaines, l'IA a donc fait remonter des centaines de failles dans un codebase mature et massif, un résultat que des équipes humaines auraient mis des mois à produire. Les ingénieurs de Firefox ont également noté qu'ils n'ont trouvé aucune catégorie de faille, ni aucun niveau de complexité, que l'humain puisse identifier et que le modèle ne puisse pas. Symétriquement, aucun bug détecté par l'IA n'était hors de portée d'un chercheur humain d'élite. Ce résultat renverse une dynamique économique qui favorisait structurellement les attaquants depuis des décennies. La doctrine défensive classique consistait à rendre les attaques suffisamment coûteuses pour décourager tous sauf les acteurs disposant de budgets illimités. Avec l'IA, c'est désormais la découverte de vulnérabilités qui devient bon marché et systématique du côté des défenseurs. Pour les entreprises, le calcul est limpide : dans un environnement réglementaire strict, le coût d'un audit automatisé continu est sans commune mesure avec celui d'une violation de données ou d'une attaque par ransomware. L'automatisation réduit aussi la dépendance aux consultants externes spécialisés, dont la rareté et le coût représentaient jusqu'ici un frein réel pour les équipes de sécurité interne. L'enjeu dépasse largement Firefox. Pendant des années, les chercheurs en sécurité d'élite compensaient les limites du fuzzing automatisé en raisonnant manuellement sur le code source pour détecter des failles logiques, un travail lent, coûteux et contraint par la rareté des experts. L'intégration de modèles comme Mythos Preview supprime cette contrainte humaine. Des outils capables d'un tel raisonnement étaient inimaginables il y a quelques mois. Cette évolution profite aussi aux entreprises incapables de se permettre une réécriture complète de leur base de code C++ en Rust ou dans d'autres langages sécurisés par construction : l'IA leur offre un moyen de sécuriser du code legacy sans engager une refonte financièrement prohibitive. Si d'autres éditeurs de logiciels critiques exposés sur internet adoptent des méthodes similaires, le niveau de référence de la sécurité logicielle pourrait franchir un seuil structurel, réduisant durablement l'avantage offensif dont bénéficiaient jusqu'ici les acteurs malveillants.

UEDans un contexte réglementaire européen strict (NIS2, RGPD), l'audit de sécurité automatisé continu offre aux entreprises européennes une réponse économiquement viable à leurs obligations de conformité et réduit le risque financier lié aux violations de données.

💬 271 failles dans Firefox, en quelques semaines. Depuis des décennies, le bras de fer penchait côté attaque : trouver une faille a toujours coûté moins cher que la corriger, et les équipes sécu passaient leur temps à rendre les attaques suffisamment chères pour décourager les petits budgets, pas les gros. Si l'IA systématise la découverte du côté défenseur, ça change le calcul, et pour les boîtes avec du legacy C++ qu'elles ne peuvent pas réécrire, c'est presque une bouée de sauvetage.

SécuritéOpinion
1 source
Cyera rachète Ryft pour accélérer sur la sécurisation des données à l’ère des agents IA
3FrenchWeb 

Cyera rachète Ryft pour accélérer sur la sécurisation des données à l’ère des agents IA

La société de cybersécurité Cyera a annoncé l'acquisition de la startup israélienne Ryft, spécialisée dans la gestion automatisée et sécurisée des données pour les systèmes d'intelligence artificielle. Le montant de la transaction n'a pas été officiellement dévoilé, mais des sources du secteur l'estiment entre 92 et 120 millions d'euros, une valorisation remarquable pour une entreprise fondée en 2024 qui n'avait levé que 6,8 millions d'euros depuis sa création. Ce rachat illustre la pression croissante que font peser les agents IA sur la gestion des données sensibles en entreprise. Les systèmes agentiques, qui accèdent et manipulent des données de façon autonome, créent des surfaces d'attaque inédites que les outils de sécurité traditionnels ne sont pas conçus pour surveiller. En intégrant la technologie de Ryft, Cyera entend offrir une visibilité en temps réel sur les flux de données traversant ces agents, répondant à une demande urgente des équipes sécurité dans les grandes organisations. Cyera s'était déjà positionnée comme un acteur majeur de la sécurisation des données cloud, ayant levé plusieurs centaines de millions de dollars ces dernières années. L'acquisition de Ryft s'inscrit dans une vague plus large de consolidation autour de la sécurité de l'IA : à mesure que les entreprises déploient des agents autonomes en production, la question du contrôle des accès aux données et de la traçabilité des actions devient un enjeu stratégique. Les prochains mois diront si Cyera parvient à transformer cette intégration en avantage compétitif durable face à des acteurs comme Wiz ou Palo Alto Networks.

UELes entreprises européennes déployant des agents IA autonomes sont exposées aux mêmes risques sur leurs données sensibles, mais aucun acteur ou régulateur français ou européen n'est directement impliqué dans cette transaction.

SécuritéOpinion
1 source
5 bonnes pratiques pour sécuriser les systèmes d'IA
4AI News 

5 bonnes pratiques pour sécuriser les systèmes d'IA

Les organisations qui intègrent l'intelligence artificielle dans leurs opérations critiques font face à une surface d'attaque inédite que les cadres de sécurité traditionnels n'ont pas été conçus pour couvrir. Face à cette réalité, cinq pratiques fondamentales se dégagent pour protéger ces systèmes : contrôle d'accès strict, défense contre les menaces propres aux modèles, visibilité unifiée de l'écosystème, surveillance continue et gestion rigoureuse des vulnérabilités. Le contrôle d'accès basé sur les rôles (RBAC) limite l'exposition en n'accordant les permissions qu'aux personnes dont la fonction le justifie. Le chiffrement des modèles et des données d'entraînement, aussi bien au repos qu'en transit, constitue une protection indispensable, notamment lorsque ces données contiennent du code propriétaire ou des informations personnelles. Sur le front des menaces spécifiques aux LLM, l'injection de prompt occupe la première place du classement OWASP Top 10 pour les applications à base de grands modèles de langage : un attaquant insère des instructions malveillantes dans une entrée pour détourner le comportement du modèle. Des pare-feux spécialisés pour l'IA, capables de valider et d'assainir les entrées avant qu'elles n'atteignent le modèle, constituent une première ligne de défense directe. Des exercices de red teaming simulant des scénarios réels — empoisonnement de données, attaques par inversion de modèle — permettent de détecter les failles avant que des acteurs malveillants ne les exploitent. L'enjeu dépasse la simple protection technique : c'est la fiabilité de systèmes désormais embarqués dans des décisions critiques qui est en jeu. Un modèle compromis par injection de prompt peut divulguer des données confidentielles, produire des sorties trompeuses ou servir de point d'entrée latéral vers d'autres systèmes. La fragmentation des outils de sécurité aggrave le problème : lorsque les données de télémétrie réseau, cloud, identité et endpoints restent cloisonnées, les équipes ne peuvent pas corréler une connexion anormale, un mouvement latéral et une tentative d'exfiltration en un tableau de menace cohérent. Le cadre de cybersécurité pour l'IA du NIST est explicite sur ce point : sécuriser ces systèmes implique de couvrir l'ensemble des actifs concernés, pas seulement les plus visibles. La sécurité de l'IA ne peut pas être une configuration ponctuelle, car les modèles évoluent en permanence : mises à jour, nouveaux pipelines de données, changements de comportement des utilisateurs. Les outils de détection basés sur des règles statiques peinent à suivre ce rythme, car ils s'appuient sur des signatures d'attaques connues plutôt que sur une analyse comportementale en temps réel. La surveillance continue permet d'établir une baseline comportementale et de signaler immédiatement les déviations : sorties inattendues d'un modèle, variation soudaine dans les appels API, ou accès inhabituels d'un compte privilégié. Ce contexte s'inscrit dans une prise de conscience plus large de l'industrie : les incidents liés à l'IA — du biais algorithmique aux attaques adversariales sophistiquées — se multiplient à mesure que ces systèmes gagnent en puissance et en déploiement, rendant une stratégie de défense en profondeur non plus optionnelle, mais structurellement nécessaire.

UEL'AI Act européen imposant des exigences de sécurité pour les systèmes à haut risque, ces pratiques sont directement pertinentes pour les organisations européennes en phase de mise en conformité.

SécuritéOpinion
1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, l'essentiel de l'IA · désinscription en un clic