Aller au contenu principal
SécuritéVentureBeat AI6sem

Cinq signes que la dérive des données compromet déjà vos modèles de sécurité

Résumé IASource uniqueImpact UE
Source originale ↗·

La dérive des données (ou data drift) constitue l'une des menaces les plus insidieuses pour les systèmes de cybersécurité fondés sur l'intelligence artificielle. Ce phénomène survient lorsque les propriétés statistiques des données traitées par un modèle d'apprentissage automatique évoluent au fil du temps, rendant ses prédictions progressivement obsolètes. Un modèle entraîné sur des schémas d'attaques passées peut ainsi échouer à détecter les menaces actuelles, plus sophistiquées. Cinq signaux d'alerte permettent aux équipes de sécurité d'identifier cette dérive avant qu'elle ne cause des dommages réels : une chute soudaine des métriques de performance (précision, rappel, exactitude), un glissement dans les distributions statistiques des données d'entrée, un changement dans le comportement des prédictions, une hausse de l'incertitude du modèle, et enfin une modification des corrélations entre variables. En 2024, des attaquants ont exploité précisément ces angles morts en utilisant des techniques d'écho-spoofing pour contourner des services de protection des e-mails, envoyant des millions de messages falsifiés qui ont échappé aux classificateurs de plusieurs éditeurs de sécurité.

L'impact de la dérive non détectée est potentiellement catastrophique. Un modèle de détection des menaces en dérive génère davantage de faux négatifs, laissant passer des intrusions réelles, ou à l'inverse multipliant les faux positifs qui épuisent les équipes par une fatigue d'alertes chronique. À titre d'illustration, un modèle de détection de phishing entraîné sur des pièces jointes d'une taille moyenne de 2 Mo peut devenir aveugle si une nouvelle méthode de diffusion de malwares fait passer cette taille à 10 Mo. De même, un modèle de détection de fraude qui historiquement signalait 1 % des transactions suspectes et qui bascule soudainement à 5 % ou 0,1 % révèle une rupture dans les données d'entrée. Les adversaires l'ont bien compris et adaptent délibérément leurs techniques pour exploiter ces zones d'ombre, transformant la dérive en vecteur d'attaque à part entière.

Ce problème s'inscrit dans une tension structurelle inhérente à l'IA appliquée à la sécurité : les modèles sont entraînés sur des instantanés historiques, alors que le paysage des menaces évolue en permanence. Les acteurs malveillants, qu'il s'agisse de groupes cybercriminels ou d'États, ont tout intérêt à faire muter leurs méthodes plus vite que les modèles ne se réentraînent. Les entreprises de cybersécurité comme les équipes SOC internes doivent désormais intégrer la surveillance de la dérive comme une discipline à part entière, au même titre que la mise à jour des signatures de virus ou la gestion des vulnérabilités. Les pistes incluent la mise en place de pipelines de réentraînement continu, l'utilisation de scores de confiance pour détecter les anomalies d'incertitude, et le monitoring des distributions statistiques en production. L'enjeu dépasse la performance technique : un modèle en dérive silencieuse est une porte dérobée que personne n'a encore remarquée.

Impact France/UE

Les équipes SOC et entreprises françaises utilisant des modèles IA de détection des menaces sont concernées au même titre que le reste du secteur, mais l'article n'implique aucun acteur, régulation ou incident spécifique à la France ou à l'UE.

Dans nos dossiers

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

Cybersécurité : la BCE s’inquiète de Mythos et convoque les banques européennes
1Next INpact 

Cybersécurité : la BCE s’inquiète de Mythos et convoque les banques européennes

La Banque centrale européenne a convoqué mardi 26 mai les représentants des 111 plus grandes banques de la zone euro pour une réunion d'urgence consacrée aux risques cybersécuritaires liés aux nouveaux modèles d'intelligence artificielle. Au centre des discussions : Mythos, le modèle le plus avancé d'Anthropic, déployé dans le cadre du projet Glasswing auprès d'une cinquantaine de partenaires triés sur le volet, quasi-exclusivement américains. Frank Elderson, vice-président du conseil de surveillance prudentielle de la BCE, a alerté le Financial Times que des acteurs malveillants pourraient bientôt accéder à ce type de technologie, exhortant les banques européennes à ne pas attendre d'y avoir accès elles-mêmes pour se préparer. Anthropic a de son côté publié un premier bilan : les partenaires du projet Glasswing ont collectivement identifié plus de 10 000 vulnérabilités de gravité élevée ou critique dans leurs systèmes, et Mythos a déjà permis de bloquer un virement frauduleux d'1,5 million de dollars après la compromission d'une adresse e-mail client dans le secteur bancaire. L'enjeu dépasse la simple indisponibilité d'un outil. Ce qui préoccupe la BCE, c'est la dissymétrie croissante entre attaquants et défenseurs. Elderson souligne qu'un pirate peut désormais analyser une mise à jour de sécurité pour en déduire la faille exacte qu'elle corrige en environ trente minutes, contre plusieurs jours ou semaines auparavant grâce aux outils d'IA. Les banques européennes, déjà exclues du déploiement de Mythos, risquent donc de se retrouver dans une position doublement vulnérable : sans accès aux outils défensifs de pointe, face à des adversaires qui, eux, pourraient les utiliser. La BCE entend aussi créer les conditions d'un partage d'expérience entre les grandes banques américaines opérant en Europe et leurs homologues européennes, afin de combler partiellement ce déficit. L'accès à Mythos reste un point de friction diplomatique et industriel majeur. La Commission européenne négocie avec Anthropic pour obtenir un accès au modèle, mais les discussions avancent lentement, alors que Bruxelles a déjà obtenu un accès à GPT-5.5-Cyber d'OpenAI. Anthropic reconnaît elle-même que le principal goulot d'étranglement n'est plus la détection des failles, désormais largement automatisable, mais bien le triage, la divulgation responsable et le déploiement des correctifs, qu'elle qualifie d'enjeu majeur pour la cybersécurité mondiale. La startup prévoit d'élargir le projet Glasswing à de nouveaux partenaires sans en préciser le calendrier, tandis que les premières expériences concluantes chez Mozilla sur la chasse aux bugs dans Firefox alimentent la demande d'institutions européennes qui observent de loin une technologie dont elles sont pour l'heure exclues.

UELa BCE a convoqué en urgence les 111 plus grandes banques de la zone euro, alarmée par l'asymétrie cybersécuritaire croissante liée à l'IA : les établissements européens, privés d'accès aux outils défensifs avancés, risquent de faire face à des attaquants mieux armés, tandis que la Commission européenne négocie activement un accès à ces technologies.

💬 10 000 vulnérabilités critiques trouvées en quelques mois, c'est moins une victoire qu'un aveu sur l'état réel de nos infrastructures bancaires. Ce qu'Anthropic reconnaît par ailleurs, c'est que le vrai goulot d'étranglement n'est plus de trouver les failles (ça, c'est désormais réglé), mais de les trier et de déployer les correctifs en temps utile, et là les outils n'aident pas encore autant qu'on voudrait. Les banques européennes regardent ça de loin, exclues de Glasswing, pendant que les attaquants, eux, n'attendent pas que Bruxelles finisse de négocier.

SécuritéActu
1 source
19 outils de red teaming pour l'IA (2026) : sécurisez vos modèles ML
2MarkTechPost 

19 outils de red teaming pour l'IA (2026) : sécurisez vos modèles ML

La sécurité des systèmes d'intelligence artificielle est devenue un enjeu majeur en 2026, poussant un nombre croissant d'équipes techniques à adopter des pratiques dites de "red teaming IA", une discipline qui consiste à tester les modèles d'apprentissage automatique en simulant des attaques adversariales réelles. Contrairement aux tests de pénétration classiques qui ciblent des failles logicielles connues, le red teaming IA explore des vulnérabilités spécifiques aux modèles génératifs : injection de prompt, empoisonnement de données, contournement des garde-fous (jailbreaking), fuite de données d'entraînement ou exploitation de biais. Un panorama publié en 2026 recense les 19 outils les plus fiables dans ce domaine, couvrant aussi bien des solutions open-source que des plateformes commerciales. Parmi eux figurent Garak, un toolkit open-source dédié aux LLM, PyRIT de Microsoft, l'outil AIF360 d'IBM centré sur les biais algorithmiques, Foolbox pour les attaques adversariales sur les modèles de vision, ou encore Mindgard et Dreadnode Crucible pour les évaluations automatisées de vulnérabilités. Des outils comme Guardrails ou Snyk s'adressent plus spécifiquement aux développeurs cherchant à intégrer la défense contre les injections de prompt directement dans leur pipeline de développement. L'importance de ces outils dépasse largement le cadre purement technique. Les organisations qui déploient des systèmes d'IA à fort impact, dans la santé, la finance, la justice ou les ressources humaines, sont désormais soumises à des cadres réglementaires qui exigent explicitement des évaluations adversariales. L'AI Act européen, le NIST Risk Management Framework américain et plusieurs décrets exécutifs aux États-Unis imposent ou recommandent fortement le red teaming pour les déploiements à haut risque. Au-delà de la conformité, ces pratiques permettent de détecter des comportements émergents imprévus, des failles qui n'apparaissent pas lors des tests standard en pré-production mais se manifestent en conditions réelles, avec des utilisateurs malveillants ou des données inattendues. Cette montée en puissance du red teaming IA s'inscrit dans un contexte de généralisation rapide des modèles génératifs en production, exposant des surfaces d'attaque inédites que les approches de sécurité traditionnelles ne couvrent pas. Microsoft, IBM et des startups spécialisées comme Mindgard ou Dreadnode ont investi massivement dans des plateformes capables d'automatiser ces tests et de les intégrer aux pipelines CI/CD, permettant une évaluation continue plutôt que ponctuelle. La tendance est à la combinaison d'expertise humaine et d'automatisation : les équipes de sécurité internes ou les prestataires spécialisés utilisent ces outils pour simuler des comportements d'attaquants sophistiqués, identifier les angles morts des modèles et renforcer leur résilience avant qu'une vulnérabilité ne soit exploitée en production.

UEL'AI Act européen imposant des évaluations adversariales pour les systèmes à haut risque, ces outils de red teaming deviennent indispensables pour les organisations françaises et européennes cherchant à se conformer aux exigences réglementaires.

SécuritéActu
1 source
IA & RH : l’entraînement des modèles expose les données sensibles de votre entreprise
3Le Big Data 

IA & RH : l’entraînement des modèles expose les données sensibles de votre entreprise

Mercor, une plateforme spécialisée dans le recrutement de travailleurs qualifiés pour l'entraînement de modèles d'IA, a été victime début avril 2026 d'une faille de sécurité liée à LiteLLM, un projet open source intégré à son infrastructure. Selon TechCrunch, la brèche a permis à des attaquants, identifiés comme le groupe ShinyHunters, de compromettre des échanges internes Slack ainsi que des interactions entre humains et systèmes d'IA. Mercor aurait versé une rançon pour limiter les dégâts. L'entreprise travaillait notamment avec OpenAI et Anthropic pour affiner leurs modèles. Des données à caractère personnel auraient été exposées, incluant selon Business Insider des adresses personnelles, des identifiants et potentiellement des numéros de sécurité sociale de travailleurs impliqués dans ces missions. Cet incident illustre une vulnérabilité structurelle qui dépasse le simple incident technique. Les entreprises qui externalisent l'entraînement de leurs modèles d'IA confient de fait des données internes sensibles à des tiers dont elles ne maîtrisent ni les pratiques de sécurité ni les standards de gouvernance. Quand ces tiers s'appuient eux-mêmes sur des outils open source comme LiteLLM, chaque dépendance devient un point d'entrée potentiel. Pour les directions RH et IT, cela signifie que l'entraînement de l'IA n'est plus seulement une question technique : c'est une extension directe de la gestion des données sensibles de l'entreprise, avec des conséquences juridiques et réglementaires directes en cas de fuite, notamment sous le RGPD. Le modèle économique de Mercor repose sur une externalisation massive : des travailleurs indépendants, souvent sous-employés, annotent et corrigent des modèles destinés en partie à automatiser leur propre travail. Ces profils interviennent au coeur de systèmes internes sans toujours connaître les entreprises ni les données qu'ils manipulent, créant une zone grise documentée par New York Magazine. StrikeGraph rappelle que toute la chaîne d'approvisionnement de l'IA repose sur une multiplicité d'acteurs externes, plateformes d'annotation, freelances et outils communautaires, dont chaque maillon peut être compromis. L'affaire Mercor marque un signal d'alarme pour l'ensemble du secteur : à mesure que les entreprises accélèrent leurs projets d'IA, la question du contrôle de la chaîne de sous-traitance devient aussi critique que celle des modèles eux-mêmes.

UELes entreprises européennes qui sous-traitent l'entraînement de modèles IA via des plateformes tierces s'exposent à des violations de données soumises au RGPD, avec des responsabilités juridiques directes en cas de fuite impliquant des données de travailleurs ou d'informations internes.

💬 Tu sous-traites l'entraînement de tes modèles à une plateforme qui s'appuie sur un outil open source que personne n'a vraiment audité, et tu t'étonnes qu'il y ait une faille ? Ce qui m'inquiète ici, c'est moins Mercor que le modèle lui-même : dès qu'un tiers touche à tes données internes pour affiner un LLM, tu perds le contrôle sur toute la chaîne. OpenAI et Anthropic en face, ça rassure sur le papier, mais la sécurité ça ne se délègue pas.

SécuritéOpinion
1 source
Sécurité des modèles vision-langage-action : menaces, défis, évaluations et mécanismes
4arXiv cs.RO 

Sécurité des modèles vision-langage-action : menaces, défis, évaluations et mécanismes

Des chercheurs ont publié sur arXiv (référence 2604.23775) une synthèse complète consacrée à la sécurité des modèles Vision-Language-Action (VLA), une nouvelle génération de systèmes d'IA qui combinent perception visuelle, compréhension du langage et contrôle d'actions physiques. Ces architectures unifiées s'imposent progressivement comme le socle de l'intelligence incarnée, autrement dit, des robots et agents autonomes capables d'agir dans le monde réel. Le survey recense les menaces selon deux axes temporels parallèles : les attaques et défenses au moment de l'entraînement d'un côté, et au moment de l'inférence de l'autre. Parmi les vecteurs d'attaque identifiés figurent l'empoisonnement de données, les backdoors injectés durant l'entraînement, mais aussi les patches adversariaux, les perturbations cross-modales, les jailbreaks sémantiques et les attaques par gel de paramètres lors de l'exécution. Ce que rend ces risques particulièrement sérieux, c'est la nature physique et irréversible des systèmes concernés. Contrairement à un grand modèle de langage qui produit du texte, un modèle VLA pilote un bras robotique, un véhicule autonome ou un drone. Une attaque réussie ne génère pas une réponse incorrecte, elle peut provoquer un accident, endommager du matériel ou mettre des personnes en danger. La surface d'attaque est trimodale (vision, langage, état physique), les contraintes de latence en temps réel limitent les défenses envisageables, et les erreurs se propagent sur des trajectoires longues avant d'être détectables. Le domaine souffre d'une fragmentation notable : les travaux sur la sécurité des VLA sont éparpillés entre l'apprentissage robotique, le machine learning adversarial, l'alignement des IA et la sécurité des systèmes autonomes, sans cadre commun. Ce survey tente de combler ce vide en couvrant six domaines de déploiement distincts et en identifiant les problèmes ouverts prioritaires : robustesse certifiée pour les trajectoires physiques, défenses réalisables dans le monde réel, entraînement intégrant la sécurité dès la conception, architectures unifiées de supervision à l'exécution et protocoles d'évaluation standardisés. Alors que les robots incarnant ces modèles commencent à quitter les laboratoires, l'urgence d'un consensus sur ces questions devient difficile à ignorer.

UELes modèles VLA entrent dans le champ des systèmes IA à haut risque au sens de l'AI Act européen ; les lacunes de sécurité identifiées devront être adressées pour toute mise sur le marché de robots ou véhicules autonomes en Europe.

SécuritéOpinion
1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour