Aller au contenu principal
SécuritéVentureBeat AI12sem· 2 min de lecture

Cinq signes que la dérive des données compromet déjà vos modèles de sécurité

Source originale ↗·

La dérive des données (ou data drift) constitue l'une des menaces les plus insidieuses pour les systèmes de cybersécurité fondés sur l'intelligence artificielle. Ce phénomène survient lorsque les propriétés statistiques des données traitées par un modèle d'apprentissage automatique évoluent au fil du temps, rendant ses prédictions progressivement obsolètes. Un modèle entraîné sur des schémas d'attaques passées peut ainsi échouer à détecter les menaces actuelles, plus sophistiquées. Cinq signaux d'alerte permettent aux équipes de sécurité d'identifier cette dérive avant qu'elle ne cause des dommages réels : une chute soudaine des métriques de performance (précision, rappel, exactitude), un glissement dans les distributions statistiques des données d'entrée, un changement dans le comportement des prédictions, une hausse de l'incertitude du modèle, et enfin une modification des corrélations entre variables. En 2024, des attaquants ont exploité précisément ces angles morts en utilisant des techniques d'écho-spoofing pour contourner des services de protection des e-mails, envoyant des millions de messages falsifiés qui ont échappé aux classificateurs de plusieurs éditeurs de sécurité.

L'impact de la dérive non détectée est potentiellement catastrophique. Un modèle de détection des menaces en dérive génère davantage de faux négatifs, laissant passer des intrusions réelles, ou à l'inverse multipliant les faux positifs qui épuisent les équipes par une fatigue d'alertes chronique. À titre d'illustration, un modèle de détection de phishing entraîné sur des pièces jointes d'une taille moyenne de 2 Mo peut devenir aveugle si une nouvelle méthode de diffusion de malwares fait passer cette taille à 10 Mo. De même, un modèle de détection de fraude qui historiquement signalait 1 % des transactions suspectes et qui bascule soudainement à 5 % ou 0,1 % révèle une rupture dans les données d'entrée. Les adversaires l'ont bien compris et adaptent délibérément leurs techniques pour exploiter ces zones d'ombre, transformant la dérive en vecteur d'attaque à part entière.

Ce problème s'inscrit dans une tension structurelle inhérente à l'IA appliquée à la sécurité : les modèles sont entraînés sur des instantanés historiques, alors que le paysage des menaces évolue en permanence. Les acteurs malveillants, qu'il s'agisse de groupes cybercriminels ou d'États, ont tout intérêt à faire muter leurs méthodes plus vite que les modèles ne se réentraînent. Les entreprises de cybersécurité comme les équipes SOC internes doivent désormais intégrer la surveillance de la dérive comme une discipline à part entière, au même titre que la mise à jour des signatures de virus ou la gestion des vulnérabilités. Les pistes incluent la mise en place de pipelines de réentraînement continu, l'utilisation de scores de confiance pour détecter les anomalies d'incertitude, et le monitoring des distributions statistiques en production. L'enjeu dépasse la performance technique : un modèle en dérive silencieuse est une porte dérobée que personne n'a encore remarquée.

Impact France/UE

Les équipes SOC et entreprises françaises utilisant des modèles IA de détection des menaces sont concernées au même titre que le reste du secteur, mais l'article n'implique aucun acteur, régulation ou incident spécifique à la France ou à l'UE.

Dans nos dossiers

Cet article vous a été utile ?

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

Cybersécurité : la BCE s’inquiète de Mythos et convoque les banques européennes
1Next INpact 

Cybersécurité : la BCE s’inquiète de Mythos et convoque les banques européennes

La Banque centrale européenne a convoqué mardi 26 mai les représentants des 111 plus grandes banques de la zone euro pour une réunion d'urgence consacrée aux risques cybersécuritaires liés aux nouveaux modèles d'intelligence artificielle. Au centre des discussions : Mythos, le modèle le plus avancé d'Anthropic, déployé dans le cadre du projet Glasswing auprès d'une cinquantaine de partenaires triés sur le volet, quasi-exclusivement américains. Frank Elderson, vice-président du conseil de surveillance prudentielle de la BCE, a alerté le Financial Times que des acteurs malveillants pourraient bientôt accéder à ce type de technologie, exhortant les banques européennes à ne pas attendre d'y avoir accès elles-mêmes pour se préparer. Anthropic a de son côté publié un premier bilan : les partenaires du projet Glasswing ont collectivement identifié plus de 10 000 vulnérabilités de gravité élevée ou critique dans leurs systèmes, et Mythos a déjà permis de bloquer un virement frauduleux d'1,5 million de dollars après la compromission d'une adresse e-mail client dans le secteur bancaire. L'enjeu dépasse la simple indisponibilité d'un outil. Ce qui préoccupe la BCE, c'est la dissymétrie croissante entre attaquants et défenseurs. Elderson souligne qu'un pirate peut désormais analyser une mise à jour de sécurité pour en déduire la faille exacte qu'elle corrige en environ trente minutes, contre plusieurs jours ou semaines auparavant grâce aux outils d'IA. Les banques européennes, déjà exclues du déploiement de Mythos, risquent donc de se retrouver dans une position doublement vulnérable : sans accès aux outils défensifs de pointe, face à des adversaires qui, eux, pourraient les utiliser. La BCE entend aussi créer les conditions d'un partage d'expérience entre les grandes banques américaines opérant en Europe et leurs homologues européennes, afin de combler partiellement ce déficit. L'accès à Mythos reste un point de friction diplomatique et industriel majeur. La Commission européenne négocie avec Anthropic pour obtenir un accès au modèle, mais les discussions avancent lentement, alors que Bruxelles a déjà obtenu un accès à GPT-5.5-Cyber d'OpenAI. Anthropic reconnaît elle-même que le principal goulot d'étranglement n'est plus la détection des failles, désormais largement automatisable, mais bien le triage, la divulgation responsable et le déploiement des correctifs, qu'elle qualifie d'enjeu majeur pour la cybersécurité mondiale. La startup prévoit d'élargir le projet Glasswing à de nouveaux partenaires sans en préciser le calendrier, tandis que les premières expériences concluantes chez Mozilla sur la chasse aux bugs dans Firefox alimentent la demande d'institutions européennes qui observent de loin une technologie dont elles sont pour l'heure exclues.

UELa BCE a convoqué en urgence les 111 plus grandes banques de la zone euro, alarmée par l'asymétrie cybersécuritaire croissante liée à l'IA : les établissements européens, privés d'accès aux outils défensifs avancés, risquent de faire face à des attaquants mieux armés, tandis que la Commission européenne négocie activement un accès à ces technologies.

💬 10 000 vulnérabilités critiques trouvées en quelques mois, c'est moins une victoire qu'un aveu sur l'état réel de nos infrastructures bancaires. Ce qu'Anthropic reconnaît par ailleurs, c'est que le vrai goulot d'étranglement n'est plus de trouver les failles (ça, c'est désormais réglé), mais de les trier et de déployer les correctifs en temps utile, et là les outils n'aident pas encore autant qu'on voudrait. Les banques européennes regardent ça de loin, exclues de Glasswing, pendant que les attaquants, eux, n'attendent pas que Bruxelles finisse de négocier.

SécuritéActu
1 source
Le piratage de Meta révèle que la sécurité de l'IA va au-delà de Mythos
2MIT Technology Review 

Le piratage de Meta révèle que la sécurité de l'IA va au-delà de Mythos

Le 5 juin 2026, le média 404 Media révélait qu'une faille dans l'agent de support client basé sur l'IA de Meta avait permis à des pirates de s'emparer de comptes Instagram. La méthode était d'une simplicité déconcertante : les attaquants demandaient directement à l'agent de lier les comptes visés à des adresses e-mail qu'ils contrôlaient, et l'agent s'exécutait. Le seul obstacle technique consistait à utiliser un VPN affichant la localisation du propriétaire légitime du compte. Parmi les victimes, le compte officiel "Obama White House", resté inactif depuis des années, a été détourné pour diffuser des publications pro-iranniennes. D'autres comptes aux pseudonymes courts et rares, très prisés sur le marché noir, ont également été volés, vraisemblablement pour être revendus. Meta n'a pas expliqué publiquement comment cette vulnérabilité avait échappé à ses équipes, mais un porte-parole a indiqué lundi sur X que la faille avait été corrigée. Cette affaire illustre une catégorie de risques souvent sous-estimée dans le débat sur la sécurité de l'IA : non pas les systèmes d'IA utilisés comme armes offensives, mais les agents IA eux-mêmes comme cibles. Contrairement à un agent humain qui aurait probablement posé des questions de sécurité avant de modifier une adresse e-mail sensible, l'agent de Meta a suivi la demande sans résistance. "C'est presque comme un écolier qui veut juste faire plaisir au professeur", résume Somesh Jha, professeur en informatique à l'Université du Wisconsin-Madison. Jessica Ji, chercheuse au Center for Security and Emerging Technology de Georgetown, souligne l'aspect particulièrement troublant de cette négligence venant d'une entreprise disposant d'une expertise reconnue en cybersécurité et en IA. "Cela soulève des questions : y avait-il seulement des garde-fous en place ? A-t-on même pensé à tester ce type de scénario ?" La faille de Meta s'inscrit dans un contexte plus large d'inquiétudes croissantes autour de la sécurité des agents IA. En avril 2026, Anthropic avait reconnu que son modèle Mythos était trop performant en matière de piratage pour être diffusé au grand public, alimentant les craintes sur une IA offensive. Mais des chercheurs comme Neil Gong, professeur à Duke University, alertent depuis plusieurs années sur un autre front : les attaques visant les agents eux-mêmes, via des techniques comme l'injection de commandes indirectes dissimulées dans des e-mails ou des sites web. La vulnérabilité Meta était bien plus rudimentaire que ces exploits sophistiqués, ce qui rend sa non-détection d'autant plus surprenante. Les experts s'accordent sur les parades possibles : imposer des règles strictes via du code traditionnel en amont de l'agent, et soumettre tout agent destiné au public à des exercices rigoureux de "red-teaming" avant déploiement.

UELes millions d'utilisateurs européens d'Instagram sont directement exposés à ce type de faille ; l'incident renforce l'urgence d'exiger des audits de sécurité rigoureux pour les agents IA déployés en production, un angle que l'AI Act devra préciser dans ses actes d'exécution.

💬 L'exploit le plus bête est souvent le plus efficace. Tu demandes gentiment à l'agent de changer l'adresse mail, il s'exécute sans résistance, et le compte Obama finit à diffuser de la propagande iranienne. La vraie honte pour Meta, c'est pas l'attaque, c'est que leur red-team interne ne l'a pas vue venir avant les pirates.

SécuritéOpinion
1 source
19 outils de red teaming pour l'IA (2026) : sécurisez vos modèles ML
3MarkTechPost 

19 outils de red teaming pour l'IA (2026) : sécurisez vos modèles ML

La sécurité des systèmes d'intelligence artificielle est devenue un enjeu majeur en 2026, poussant un nombre croissant d'équipes techniques à adopter des pratiques dites de "red teaming IA", une discipline qui consiste à tester les modèles d'apprentissage automatique en simulant des attaques adversariales réelles. Contrairement aux tests de pénétration classiques qui ciblent des failles logicielles connues, le red teaming IA explore des vulnérabilités spécifiques aux modèles génératifs : injection de prompt, empoisonnement de données, contournement des garde-fous (jailbreaking), fuite de données d'entraînement ou exploitation de biais. Un panorama publié en 2026 recense les 19 outils les plus fiables dans ce domaine, couvrant aussi bien des solutions open-source que des plateformes commerciales. Parmi eux figurent Garak, un toolkit open-source dédié aux LLM, PyRIT de Microsoft, l'outil AIF360 d'IBM centré sur les biais algorithmiques, Foolbox pour les attaques adversariales sur les modèles de vision, ou encore Mindgard et Dreadnode Crucible pour les évaluations automatisées de vulnérabilités. Des outils comme Guardrails ou Snyk s'adressent plus spécifiquement aux développeurs cherchant à intégrer la défense contre les injections de prompt directement dans leur pipeline de développement. L'importance de ces outils dépasse largement le cadre purement technique. Les organisations qui déploient des systèmes d'IA à fort impact, dans la santé, la finance, la justice ou les ressources humaines, sont désormais soumises à des cadres réglementaires qui exigent explicitement des évaluations adversariales. L'AI Act européen, le NIST Risk Management Framework américain et plusieurs décrets exécutifs aux États-Unis imposent ou recommandent fortement le red teaming pour les déploiements à haut risque. Au-delà de la conformité, ces pratiques permettent de détecter des comportements émergents imprévus, des failles qui n'apparaissent pas lors des tests standard en pré-production mais se manifestent en conditions réelles, avec des utilisateurs malveillants ou des données inattendues. Cette montée en puissance du red teaming IA s'inscrit dans un contexte de généralisation rapide des modèles génératifs en production, exposant des surfaces d'attaque inédites que les approches de sécurité traditionnelles ne couvrent pas. Microsoft, IBM et des startups spécialisées comme Mindgard ou Dreadnode ont investi massivement dans des plateformes capables d'automatiser ces tests et de les intégrer aux pipelines CI/CD, permettant une évaluation continue plutôt que ponctuelle. La tendance est à la combinaison d'expertise humaine et d'automatisation : les équipes de sécurité internes ou les prestataires spécialisés utilisent ces outils pour simuler des comportements d'attaquants sophistiqués, identifier les angles morts des modèles et renforcer leur résilience avant qu'une vulnérabilité ne soit exploitée en production.

UEL'AI Act européen imposant des évaluations adversariales pour les systèmes à haut risque, ces outils de red teaming deviennent indispensables pour les organisations françaises et européennes cherchant à se conformer aux exigences réglementaires.

SécuritéActu
1 source
IA & RH : l’entraînement des modèles expose les données sensibles de votre entreprise
4Le Big Data 

IA & RH : l’entraînement des modèles expose les données sensibles de votre entreprise

Mercor, une plateforme spécialisée dans le recrutement de travailleurs qualifiés pour l'entraînement de modèles d'IA, a été victime début avril 2026 d'une faille de sécurité liée à LiteLLM, un projet open source intégré à son infrastructure. Selon TechCrunch, la brèche a permis à des attaquants, identifiés comme le groupe ShinyHunters, de compromettre des échanges internes Slack ainsi que des interactions entre humains et systèmes d'IA. Mercor aurait versé une rançon pour limiter les dégâts. L'entreprise travaillait notamment avec OpenAI et Anthropic pour affiner leurs modèles. Des données à caractère personnel auraient été exposées, incluant selon Business Insider des adresses personnelles, des identifiants et potentiellement des numéros de sécurité sociale de travailleurs impliqués dans ces missions. Cet incident illustre une vulnérabilité structurelle qui dépasse le simple incident technique. Les entreprises qui externalisent l'entraînement de leurs modèles d'IA confient de fait des données internes sensibles à des tiers dont elles ne maîtrisent ni les pratiques de sécurité ni les standards de gouvernance. Quand ces tiers s'appuient eux-mêmes sur des outils open source comme LiteLLM, chaque dépendance devient un point d'entrée potentiel. Pour les directions RH et IT, cela signifie que l'entraînement de l'IA n'est plus seulement une question technique : c'est une extension directe de la gestion des données sensibles de l'entreprise, avec des conséquences juridiques et réglementaires directes en cas de fuite, notamment sous le RGPD. Le modèle économique de Mercor repose sur une externalisation massive : des travailleurs indépendants, souvent sous-employés, annotent et corrigent des modèles destinés en partie à automatiser leur propre travail. Ces profils interviennent au coeur de systèmes internes sans toujours connaître les entreprises ni les données qu'ils manipulent, créant une zone grise documentée par New York Magazine. StrikeGraph rappelle que toute la chaîne d'approvisionnement de l'IA repose sur une multiplicité d'acteurs externes, plateformes d'annotation, freelances et outils communautaires, dont chaque maillon peut être compromis. L'affaire Mercor marque un signal d'alarme pour l'ensemble du secteur : à mesure que les entreprises accélèrent leurs projets d'IA, la question du contrôle de la chaîne de sous-traitance devient aussi critique que celle des modèles eux-mêmes.

UELes entreprises européennes qui sous-traitent l'entraînement de modèles IA via des plateformes tierces s'exposent à des violations de données soumises au RGPD, avec des responsabilités juridiques directes en cas de fuite impliquant des données de travailleurs ou d'informations internes.

💬 Tu sous-traites l'entraînement de tes modèles à une plateforme qui s'appuie sur un outil open source que personne n'a vraiment audité, et tu t'étonnes qu'il y ait une faille ? Ce qui m'inquiète ici, c'est moins Mercor que le modèle lui-même : dès qu'un tiers touche à tes données internes pour affiner un LLM, tu perds le contrôle sur toute la chaîne. OpenAI et Anthropic en face, ça rassure sur le papier, mais la sécurité ça ne se délègue pas.

SécuritéOpinion
1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, l'essentiel de l'IA · désinscription en un clic