Aller au contenu principal
MemPrivacy : pseudonymisation locale réversible en edge-cloud pour protéger les données sans altérer la mémoire
SécuritéMarkTechPost1j

MemPrivacy : pseudonymisation locale réversible en edge-cloud pour protéger les données sans altérer la mémoire

Résumé IASource uniqueImpact UE
Source originale ↗·

Des chercheurs de MemTensor (Shanghai), du fabricant de smartphones HONOR Device et de l'université Tongji ont présenté MemPrivacy, un cadre technique destiné à protéger les données personnelles des utilisateurs d'agents IA sans sacrifier l'utilité des systèmes de mémoire cloud. Publié sur arXiv, le framework repose sur ce que les chercheurs appellent la "pseudonymisation locale réversible" : avant de quitter l'appareil de l'utilisateur, les données sensibles sont remplacées par des jetons structurés typés, comme <HealthInfo1> ou <Email_1>. Le modèle cloud reçoit un texte sémantiquement intact, stocke les mémoires normalement, mais ne voit jamais les valeurs réelles. Lorsque la réponse revient, l'appareil local substitue les placeholders par les données originales via une base de données sécurisée en local. Le pipeline se divise en trois étapes : désensibilisation lors de l'envoi, traitement cloud, puis restauration à la réception, cette dernière n'ajoutant qu'une latence négligeable. Les chercheurs ont également défini une taxonomie à quatre niveaux (PL1 à PL4) pour classer les données selon leur sensibilité, des simples préférences personnelles jusqu'aux informations médicales et financières les plus critiques.

L'enjeu est considérable : des études récentes montrent que les attaques par mémoire multi-tours peuvent induire des violations de données privées dans jusqu'à 69 % des cas, et les attaques par fuite contre les systèmes de mémoire atteignent un taux de succès de 75 %. L'injection indirecte de prompts peut même pousser un agent à soutirer activement des informations confidentielles à l'utilisateur. Dans une architecture edge-cloud classique, les données brutes transitent vers le cloud et y persistent dans des bases vectorielles ou des journaux, bien au-delà de l'interaction initiale. La solution répandue du masquage par des * détruit la sémantique et rend les agents inutilisables pour des tâches concrètes : si une adresse email et une tension artérielle sont toutes deux effacées, le modèle ne peut pas rédiger un message médical cohérent. MemPrivacy résout ce paradoxe en conservant la structure sémantique grâce aux placeholders typés, permettant aux modèles cloud de raisonner correctement sans jamais accéder aux valeurs sensibles réelles.

Ce travail s'inscrit dans un contexte où les agents LLM passent rapidement des laboratoires de recherche aux déploiements en production, exacerbant la tension entre personnalisation et confidentialité. Les approches antérieures plus rigoureuses, comme la confidentialité différentielle ou la protection cryptographique, offrent de meilleures garanties théoriques mais s'intègrent difficilement dans des pipelines de mémoire interactifs sans dégrader la qualité des réponses. MemPrivacy propose une voie intermédiaire : un modèle léger embarqué sur l'appareil gère la détection et la classification des données sensibles, tandis que la puissance de calcul cloud reste disponible pour la mémoire et le raisonnement complexe. Avec la multiplication des assistants IA personnalisés et la pression réglementaire croissante sur la protection des données, notamment en Europe avec le RGPD, ce type d'architecture hybride pourrait s'imposer comme un standard pour les applications grand public souhaitant offrir à la fois des capacités mémoire avancées et des garanties crédibles en matière de vie privée.

Impact France/UE

L'architecture MemPrivacy répond directement aux exigences du RGPD sur la minimisation des données, offrant aux développeurs européens d'agents IA une voie technique concrète pour concilier mémoire personnalisée et conformité réglementaire.

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

La protection de la vie privée des données d'entraînement de l'IA
1Amazon Science 

La protection de la vie privée des données d'entraînement de l'IA

Les modèles de machine learning entraînés sur des données sensibles, dossiers médicaux, historiques de transactions bancaires ou résultats d'essais cliniques, sont exposés à des attaques capables d'extraire des informations confidentielles sur leurs données d'entraînement. Trois scénarios d'attaque escaladent en gravité. D'abord, l'inférence d'appartenance : tout acteur disposant d'un accès en requête à un modèle déployé peut déterminer si un enregistrement précis faisait partie des données d'entraînement. Des chercheurs d'Amazon Web Services l'ont démontré en 2023 à la conférence NeurIPS, exploitant le fait qu'un modèle produit des prédictions à plus haute confiance pour les exemples sur lesquels il a été entraîné. Ensuite vient la reconstruction de données dans les systèmes d'apprentissage fédéré, où plusieurs organisations entraînent un modèle commun sans partager leurs données brutes : un serveur d'agrégation malveillant peut reconstituer les données d'entraînement d'un participant à partir des mises à jour de gradient. Enfin, même un participant honnête peut voir ses données privées exposées via le modèle global partagé. En 2023, une publication de Google DeepMind a montré que GPT-3.5-turbo pouvait, sous certaines requêtes, reproduire mot pour mot des données d'entraînement, y compris des informations personnellement identifiables. Ces risques ont des conséquences légales et éthiques directes pour les organisations qui déploient des modèles sur des données protégées. Une attaque réussie contre un modèle hospitalier pourrait révéler qu'un patient spécifique a été traité dans un établissement donné, violant ainsi le HIPAA aux États-Unis ou le RGPD en Europe. Pour les systèmes d'apprentissage fédéré utilisés par des consortiums hospitaliers ou bancaires, une reconstruction réussie des données d'entraînement annulerait toute la promesse de confidentialité de l'architecture et exposerait les organisations à des violations des accords de consentement des patients. Les modèles spécialisés entraînés sur des jeux de données concentrés et sensibles sont particulièrement vulnérables, précisément parce que leurs données sont moins diversifiées et donc plus faciles à extraire. Face à ces menaces, deux technologies de protection font consensus : la confidentialité différentielle (differential privacy) et le calcul multipartite sécurisé (secure multiparty computation). La première ajoute du bruit mathématique calibré aux gradients ou aux données, rendant statistiquement impossible de déterminer si un enregistrement individuel a participé à l'entraînement, tout en préservant l'utilité statistique du modèle. La seconde permet à plusieurs parties de calculer conjointement un résultat sans qu'aucune n'accède aux données brutes des autres. Ces techniques ne sont plus réservées aux laboratoires académiques : à mesure que les entreprises de santé, de finance et de pharmacie intensifient leur adoption de l'IA sur des données propriétaires, leur déploiement devient une condition incontournable d'un développement responsable et d'une conformité réglementaire durable.

UELe RGPD est directement en jeu : une attaque de reconstruction réussie contre un modèle hospitalier ou un consortium bancaire européen utilisant l'apprentissage fédéré exposerait l'organisation à des violations de conformité graves et à des sanctions.

SécuritéOpinion
1 source
Cyera rachète Ryft pour accélérer sur la sécurisation des données à l’ère des agents IA
2FrenchWeb 

Cyera rachète Ryft pour accélérer sur la sécurisation des données à l’ère des agents IA

La société de cybersécurité Cyera a annoncé l'acquisition de la startup israélienne Ryft, spécialisée dans la gestion automatisée et sécurisée des données pour les systèmes d'intelligence artificielle. Le montant de la transaction n'a pas été officiellement dévoilé, mais des sources du secteur l'estiment entre 92 et 120 millions d'euros, une valorisation remarquable pour une entreprise fondée en 2024 qui n'avait levé que 6,8 millions d'euros depuis sa création. Ce rachat illustre la pression croissante que font peser les agents IA sur la gestion des données sensibles en entreprise. Les systèmes agentiques, qui accèdent et manipulent des données de façon autonome, créent des surfaces d'attaque inédites que les outils de sécurité traditionnels ne sont pas conçus pour surveiller. En intégrant la technologie de Ryft, Cyera entend offrir une visibilité en temps réel sur les flux de données traversant ces agents, répondant à une demande urgente des équipes sécurité dans les grandes organisations. Cyera s'était déjà positionnée comme un acteur majeur de la sécurisation des données cloud, ayant levé plusieurs centaines de millions de dollars ces dernières années. L'acquisition de Ryft s'inscrit dans une vague plus large de consolidation autour de la sécurité de l'IA : à mesure que les entreprises déploient des agents autonomes en production, la question du contrôle des accès aux données et de la traçabilité des actions devient un enjeu stratégique. Les prochains mois diront si Cyera parvient à transformer cette intégration en avantage compétitif durable face à des acteurs comme Wiz ou Palo Alto Networks.

UELes entreprises européennes déployant des agents IA autonomes sont exposées aux mêmes risques sur leurs données sensibles, mais aucun acteur ou régulateur français ou européen n'est directement impliqué dans cette transaction.

SécuritéOpinion
1 source
3AI News 

Commvault déploie une fonction 'Annuler' pour les charges de travail d'IA dans le cloud

Paragraphe 1 (Les faits): Le fournisseur de protection des données, Commvault, a déployé "AI Protect", une solution qui offre une fonctionnalité 'annuler' pour les agents d'IA dans les environnements cloud entreprises. Ces agents autonomes peuvent potentiellement supprimer des fichiers, lire des bases de données, lancer des clusters de serveurs et même modifier les politiques d'accès. AI Protect surveille ces actions au sein d'AWS, Microsoft Azure et Google Cloud. Les outils traditionnels de gouvernance reposent sur des règles statiques ; toute action est clairement attribuée à un utilisateur humain. Les agents d'IA, en revanche, montrent un comportement émergent. Ils combinent les autorisations approuvées de manière imprévue pour résoudre des problèmes complexes. Si un agent juge que la suppression complète d'une base de données de production optimise les coûts de stockage en nuage, il exécutera rapidement cette commande, bien plus vite qu'un ingénieur humain pourrait réagir. Paragraphe 2 (Pourquoi c'est important): L'introduction d'une telle fonctionnalité est cruciale car les agents d'IA peuvent effectuer des actions destructrices en millisecondes, bien plus rapidement que les équipes de sécurité opérationnelles humaines peuvent réagir. AI Protect force ces acteurs cachés à l'éclairage en identifiant et surveillant leurs activités spécifiques via des appels API et interactions de données, à travers les principaux fournisseurs cloud. La fonction de retour en arrière offre une sécurité essentielle : les administrateurs peuvent restaurer l'environnement à son état exact avant que le modèle n'initie la séquence destructrice si l'agent commet une erreur ou malinterprète une commande. Cependant, en raison de la nature très interconnectée et de l'état-état des infrastructures cloud, un simple restaure d'une table de base de données n'est pas suffisant ; tous les changements apportés par le machine doivent être précisément suivis, y compris modifications de règles de réseau, triggers de fonctions serveurless et ajustements des politiques de gestion des identités. Paragraphe 3 (Le contexte): Ce développement survient à mesure que les entreprises doivent faire face aux défis croissants posés par l'utilisation croissante des agents d'IA, souvent créés et déployés sans supervision par les développeurs. Les outils de gouvernance évoluent pour répondre à cette nouvelle réalité. Commvault joue un rôle clé en bridant l'architecture de sauvegarde traditionnelle avec la surveillance continue du cloud, en cartographiant ainsi le rayon d'impact des sessions des agents d'IA pour isoler les dommages et éviter les retours arrière indiscriminés pouvant effacer des transactions clients valides ou annuler des travaux légitimes effectués par des ingénieurs humains. À mesure que les machines continuent d'exécuter des tâches plus rapidement que les opérateurs humains peuvent les surveiller, l'accent est mis sur la mise en place de garde-fous pour permettre un revers instantané et précis des actions autonomes.

UECommvault offre une solution cruciale pour surveiller et contrôler les actions potentiellement destructrices des agents d'IA dans les environnements cloud, atténuant ainsi les risques de sécurité pour les entreprises européennes.

💬 Un bouton "annuler" pour les agents IA, c'est exactement le genre de truc qu'on aurait dû exiger avant de lâcher ces trucs en prod. Le vrai problème, c'est que dans un cloud bien emmêlé, rollback une table ne suffit pas : il faut tout retracer, les règles réseau, les fonctions serverless, les IAM policies modifiées dans la foulée. Commvault a visiblement compris ça, bon, reste à voir si leur cartographie tient en conditions réelles.

SécuritéActu
1 source
Après la fuite du code source de Claude Code : 5 actions pour les responsables sécurité en entreprise
4VentureBeat AI 

Après la fuite du code source de Claude Code : 5 actions pour les responsables sécurité en entreprise

Le 31 mars 2026, Anthropic a accidentellement inclus un fichier source map de 59,8 Mo dans la version 2.1.88 de son package npm @anthropic-ai/claude-code, exposant 512 000 lignes de TypeScript non obfusqué réparties dans 1 906 fichiers. Le code lisible contenait l'intégralité du modèle de permissions, les 23 validateurs de sécurité bash, 44 drapeaux de fonctionnalités inédites, ainsi que des références à des modèles non encore annoncés — dont un dénommé Claude Mythos. Le chercheur en sécurité Chaofan Shou a rendu la découverte publique sur X vers 4h23 UTC. Des dépôts miroirs ont proliféré sur GitHub en quelques heures. Anthropic a confirmé qu'il s'agissait d'une erreur humaine de packaging, sans exposition de données clients ni de poids de modèles. La société a émis une demande de retrait DMCA, mais celle-ci a touché par erreur plus de 8 000 dépôts et forks — bien au-delà du dépôt ciblé — avant d'être partiellement rétractée. Entre-temps, des développeurs avaient déjà utilisé d'autres outils d'IA pour réécrire les fonctionnalités de Claude Code dans d'autres langages de programmation, ces réécritures devenant elles-mêmes virales. L'impact dépasse la simple fuite de code. Les 512 000 lignes révèlent l'architecture complète de l'agent : un moteur de requêtes de 46 000 lignes gérant la compression de contexte sur trois niveaux, plus de 40 outils avec leurs schémas et contrôles de permissions granulaires, et 2 500 lignes de validation bash couvrant des vecteurs d'attaque sophistiqués comme l'injection d'espaces Unicode zéro-largeur ou les contournements de tokens malformés découverts via HackerOne. Des concurrents et des startups disposent désormais d'une feuille de route détaillée pour reproduire ces fonctionnalités sans reverse engineering. La coïncidence de timing aggrave la situation : dans la même fenêtre d'installation (entre 00h21 et 03h29 UTC), des versions malveillantes du package npm axios contenant un cheval de Troie d'accès distant étaient actives sur le même registre. Toute équipe ayant mis à jour Claude Code pendant cette période a potentiellement été exposée aux deux menaces simultanément. Ce n'est pas un incident isolé. Cinq jours avant la fuite du code source, une mauvaise configuration CMS avait déjà exposé près de 3 000 assets internes non publiés d'Anthropic. Gartner, dans une analyse publiée le jour même, qualifie l'ensemble des incidents de mars de signal systémique révélant un écart entre les capacités produit d'Anthropic et sa maturité opérationnelle. L'analyste note également un détail juridique lourd de conséquences : selon les propres déclarations publiques d'Anthropic, 90 % de Claude Code est généré par IA. Or, la loi américaine sur le droit d'auteur exige une paternité humaine — et la Cour suprême a refusé en mars 2026 de revoir ce standard. La protection intellectuelle du code exposé est donc considérablement affaiblie, ce qui ouvre la voie à une utilisation et une réutilisation difficiles à contester légalement.

UELes entreprises françaises ayant mis à jour Claude Code entre 00h21 et 03h29 UTC le 31 mars 2026 ont potentiellement été exposées simultanément à la fuite du code source Anthropic et au cheval de Troie dans le package axios, rendant un audit immédiat des dépendances npm nécessaire.

💬 Le truc qui m'a frappé, c'est pas la fuite en elle-même, c'est le détail juridique en fin d'article : 90 % du code est généré par IA, donc quasiment pas de protection intellectuelle selon le droit américain actuel, ce qui signifie que tous les concurrents qui viennent de récupérer ces 512 000 lignes peuvent les réutiliser sans grand risque légal. Et la DMCA lancée à l'aveugle sur 8 000 repos, ça finit d'illustrer le gap entre la vitesse produit d'Anthropic et leur maturité opérationnelle. Gartner a raison pour une fois.

SécuritéOpinion
1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour