Aller au contenu principal
Treize mots sur Reddit suffisent à piéger une IA et lui faire recommander une arnaque
SécuritéLe Big Data3h· 2 min de lecture

Treize mots sur Reddit suffisent à piéger une IA et lui faire recommander une arnaque

Source originale ↗·

Des chercheurs de Cornell Tech, Tingwei Zhang, Harold Triedman et Vitaly Shmatikov, ont publié une prépublication décrivant une attaque qu'ils nomment WARP, pour Web Agent Retrieval Poisoning. Le principe est simple et redoutable : en insérant une quinzaine de mots promotionnels dans un seul commentaire sur Reddit ou une autre plateforme ouverte, il est possible d'influencer les réponses des agents de recherche IA qui fouillent le web pour synthétiser des informations. Dans leurs tests sur trois agents open source (STORM, Co-STORM et OmniThink), un faux produit ou service apparaissait dans 38 à 51 % des réponses lorsqu'une seule source empoisonnée était utilisée, et jusqu'à 62 % lorsque plusieurs appâts étaient combinés. Les chercheurs ont simulé des cas concrets : un restaurant fictif baptisé Sol Azteca, un service financier ciblant les seniors divorcés sous le nom SilverPath, une fausse cryptomonnaie, ou encore un service Xfinity inventé. Pour des raisons éthiques, aucune manipulation n'a été effectuée sur le web public réel.

Cette vulnérabilité touche précisément les situations où l'utilisateur délègue son jugement à l'IA : choisir une application, trouver un restaurant, résoudre un problème technique ou comparer des offres commerciales. Le risque est que l'agent confonde proximité linguistique et crédibilité : un commentaire Reddit rédigé avec fluidité peut peser presque autant qu'une source institutionnelle aux yeux du modèle. Les plateformes participatives comme Reddit, Wikipédia ou Quora représentaient entre 17 et 23 % des sources analysées dans les tests, et un fil populaire pouvait réapparaître dans plusieurs requêtes voisines, démultipliant l'effet d'une seule manipulation. Du côté des outils grand public, Gemini Deep Research citait des sources Reddit dans environ 12 % des cas, contre seulement 0,4 % pour OpenAI Deep Research, ce qui suggère des niveaux de filtrage très différents, sans pour autant prouver qu'un utilisateur a réellement été trompé.

La faille s'inscrit dans une tension structurelle des agents de recherche modernes : ils tirent leur richesse de la diversité des sources web, y compris les contenus générés par les utilisateurs, mais cette ouverture est précisément ce qui les expose à la manipulation. Bloquer les plateformes participatives appauvrit les réponses ; scanner chaque source ou analyser le texte final pour détecter des anomalies dégrade également les résultats, notamment parce que les appâts bien rédigés passent les filtres anti-spam classiques. Reddit affirme lutter contre les bots et les manipulations depuis deux décennies, mais ni la plateforme ni Wikipédia ne peuvent résoudre seuls ce problème structurel. La conclusion pratique des chercheurs est claire : les recommandations issues d'une recherche IA doivent être traitées comme des pistes de départ, pas comme des verdicts. Cliquer sur les citations, vérifier les noms inconnus et rester particulièrement vigilant face aux conseils impliquant un paiement reste, pour l'heure, la seule défense fiable.

Impact France/UE

Les agents de recherche IA largement utilisés en Europe, dont Gemini Deep Research, sont exposés à cette vulnérabilité qui peut induire en erreur les utilisateurs européens lors de recommandations commerciales ou financières via du contenu manipulé sur Reddit ou Wikipédia.

Cet article vous a été utile ?

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

13 mots suffisent pour manipuler un résultat de recherche par IA
1Next INpact 

13 mots suffisent pour manipuler un résultat de recherche par IA

Trois chercheurs de l'université Cornell, Hal Triedman, Tingwei Zhang et Vitaly Shmatikov, ont prépublié une étude démontrant qu'un commentaire d'à peine 13 mots posté sur Reddit ou Wikipédia peut suffire à orienter les résultats d'outils de recherche par IA grand public. Leurs travaux, intitulés « Deep-research agents can be poisoned via user-generated content », portent sur trois systèmes agentiques de recherche approfondie : STORM et Co-STORM, développés à l'université Stanford, et OmniThink. Pour illustrer la vulnérabilité, ils ont publié un commentaire sur le subreddit r/OnlineDating mentionnant une marque fictive, « SilverPath », comme application de rencontre pour hommes divorcés dans la cinquantaine, le nom est ensuite remonté dans les réponses de Co-STORM. Avec seulement 11 mots postés sur r/Comcast, ils ont réussi à faire recommander par un modèle un service fictif de résiliation d'abonnement Xfinity baptisé « CancelEase ». Le mécanisme révèle une fragilité structurelle des agents de recherche actuels : ces systèmes évaluent la pertinence d'un contenu en ligne par sa proximité sémantique avec la question posée. Comme les plateformes participatives publient des textes en langage naturel, formulés par des humains, elles apparaissent particulièrement bien classées aux yeux des LLM. Reddit et Wikipédia ressortent ainsi dans près de la moitié des requêtes émises par les robots étudiés. Résultat : n'importe quel acteur souhaitant promouvoir une marque, un produit ou un récit peut y parvenir en ciblant les questions fréquemment posées et en y répondant avec quelques phrases contenant le message voulu. Le coût d'entrée d'une telle campagne d'influence est quasi nul. Cette découverte s'inscrit dans une tendance plus large que les spécialistes du référencement commencent à appeler le GEO ou AEO (Generative Engine Optimization, AI Engine Optimization), soit l'adaptation des techniques SEO classiques à l'ère des moteurs de recherche génératifs. Elle explique en partie pourquoi les modérateurs de Reddit et Wikipédia constatent une multiplication des contenus promotionnels déguisés en contributions authentiques : l'objectif est désormais moins d'apparaître dans Google que d'être cité par ChatGPT ou les outils de recherche de Google. Les chercheurs de Cornell se montrent pessimistes quant aux solutions : côté LLM, bloquer la génération de tels contenus est techniquement difficile ; côté modération humaine, le volume et la sophistication croissante des injections rendent la tâche titanesque. La question de la fiabilité des agents de recherche autonomes, déjà au cœur des débats sur leur déploiement à grande échelle, se trouve ainsi posée avec une acuité nouvelle.

UELes outils de recherche IA déployés en Europe sont exposés à cette vulnérabilité d'empoisonnement ; l'AI Act impose aux systèmes à haut risque des exigences de robustesse et de fiabilité qui pourraient contraindre les fournisseurs à remédier à ce type d'attaque par injection de contenu.

💬 13 mots sur Reddit, et l'agent de recherche cite ta marque fictive comme une vraie recommandation. La fragilité est structurelle : ces outils font confiance au langage naturel, et Reddit parle exactement comme ça, donc c'est une surface d'attaque parfaite que personne ne va assainir. Le GEO va devenir une industrie avant même qu'on ait commencé à régler le problème.

SécuritéOpinion
1 source
2Frandroid 

On a essayé de m’arnaquer avec une photo IA et un vocal envoyés par SMS : attention à cette nouvelle mode très piégeuse

Une nouvelle technique d'arnaque par SMS combine désormais des images générées par intelligence artificielle et des messages vocaux synthétiques pour piéger les victimes. Concrètement, l'escroc envoie une photo d'un colis, entièrement fabriquée par IA, accompagnée d'un vocal d'une dizaine de secondes, lui aussi probablement produit par un outil de synthèse vocale, le tout dans un seul message texte. L'objectif : convaincre le destinataire qu'un vrai colis l'attend, et le pousser à cliquer sur un lien ou à communiquer ses données personnelles. Ce type d'attaque marque une évolution inquiétante dans le paysage des arnaques numériques. Jusqu'ici, les SMS frauduleux se repéraient souvent à leurs visuels approximatifs ou à leur manque de réalisme. L'intégration d'images IA de qualité et de vocaux convaincants rend la détection bien plus difficile pour l'utilisateur ordinaire, augmentant mécaniquement le taux de succès de ces campagnes. Les données personnelles ciblées, identité, coordonnées bancaires, identifiants, alimentent ensuite des réseaux de fraude organisée. Cette tendance s'inscrit dans la démocratisation rapide des outils génératifs accessibles au grand public depuis 2023. Des générateurs d'images comme Midjourney ou DALL-E, couplés à des outils de clonage vocal bon marché, permettent désormais à des escrocs peu techniques de produire du contenu trompeur à grande échelle et à faible coût. Face à cette industrialisation de la fraude, la règle reste la même : ne jamais cliquer sur un lien reçu par SMS sans vérifier directement auprès de l'expéditeur officiel.

UELes consommateurs français sont directement exposés à ces campagnes de smishing enrichies par IA, augmentant le risque de fraude bancaire et d'usurpation d'identité à grande échelle.

SécuritéOpinion
1 source
Perplexity : le mode incognito est une arnaque, vos recherches dévoilées
3Le Big Data 

Perplexity : le mode incognito est une arnaque, vos recherches dévoilées

Une action collective fédérale de 135 pages a été déposée aux États-Unis contre Perplexity, le moteur de recherche dopé à l'intelligence artificielle valorisé à plusieurs milliards de dollars. La plainte, introduite par un utilisateur anonyme sous le nom de John Doe, accuse la startup d'avoir transmis en temps réel des conversations privées à Google et Meta, y compris lorsque le mode incognito était activé. Ces transferts auraient impliqué des outils publicitaires bien identifiés : Meta Pixel, Google Ads et Google DoubleClick. L'affaire pourrait concerner des millions d'échanges depuis 2022, couvrant des sujets aussi sensibles que la santé, la fiscalité, la sexualité ou l'identité. Ce qui rend le scandale particulièrement grave, c'est la nature même de ce qui est transmis. Contrairement à une requête Google classique, les conversations avec un assistant IA sont souvent longues, personnelles et détaillées. Dans le cas de John Doe, il s'agissait de données financières liées à la gestion d'impôts et d'investissements. Mais Perplexity encourage activement ce niveau de détail en relançant ses utilisateurs avec des invitations du type "donnez-moi plus de détails sur votre plan de traitement". Si ces messages sont acheminés vers des régies publicitaires avec des identifiants liés à un compte Google ou Facebook, les conséquences sont immédiates et concrètes : un utilisateur mentionnant une maladie pourrait se retrouver ciblé par des publicités pharmaceutiques sans jamais avoir consenti à partager cette information. La plainte décrit ces mécanismes comme une "technologie d'écoute téléphonique basée sur un navigateur", soulignant que même les utilisateurs équipés de bloqueurs de publicité ou ayant désactivé les cookies ne seraient pas protégés, car Meta recommande précisément d'associer son pixel à une API de conversions pour contourner ces défenses. Perplexity avait construit une partie de sa réputation sur la promesse d'un mode incognito inspiré des navigateurs web : pas de sauvegarde, expiration des échanges au bout de vingt-quatre heures, absence dans l'historique. Cette promesse, si elle s'avère trompeuse devant un tribunal fédéral, placerait la startup dans une position juridique et réputationnelle extrêmement délicate. L'affaire s'inscrit dans un contexte plus large de méfiance croissante envers les assistants IA qui collectent des données sensibles sous couvert de confidentialité. Les régulateurs américains et européens scrutent de près ces pratiques depuis plusieurs années, et une condamnation pourrait établir un précédent majeur pour l'ensemble du secteur. Perplexity n'a pas encore répondu publiquement aux accusations au moment du dépôt de la plainte.

UELes utilisateurs européens de Perplexity sont potentiellement exposés à des transferts de données sensibles vers des régies publicitaires américaines en violation possible du RGPD, ce qui pourrait conduire la CNIL ou d'autres régulateurs européens à ouvrir une enquête.

💬 Le mode incognito d'un assistant IA qui envoie tes questions sur ta santé ou tes impôts à Meta Pixel, c'est pas un bug, c'est une trahison délibérée. Ce qui est grave ici, c'est pas juste la fuite de données, c'est que Perplexity t'encourage activement à aller plus loin dans le détail, à livrer plus, alors que derrière ça tourne pour les régies pub. Reste à voir ce que donne le procès, mais la réputation, elle, elle ne reviendra pas.

SécuritéOpinion
1 source
« Un SMS avec une photo du livreur » : cette nouvelle arnaque à l’IA fait un carnage en France
4Presse-citron 

« Un SMS avec une photo du livreur » : cette nouvelle arnaque à l’IA fait un carnage en France

Une vague d'arnaques exploitant l'intelligence artificielle cible actuellement des milliers de consommateurs français. Le principe : les victimes reçoivent un SMS semblant provenir d'un service de livraison, accompagné d'une photo générée par IA représentant un prétendu livreur, pour crédibiliser le message. Le lien joint redirige vers un faux site imitant Chronopost, Colissimo ou DHL, où les données bancaires sont saisies pour régler de prétendus frais de livraison. L'efficacité de cette escroquerie tient précisément à l'usage de l'IA : les visuels réalistes de faux livreurs contournent la méfiance habituelle des internautes face aux messages suspects. Les victimes, convaincues par la cohérence visuelle du message, transmettent leurs coordonnées de carte bleue avant de constater des débits frauduleux parfois de plusieurs centaines d'euros. Les plaintes se multiplient auprès de Cybermalveillance.gouv.fr, le dispositif national d'assistance aux victimes de cybermalveillance. Cette arnaque s'inscrit dans une tendance plus large de démocratisation des outils d'IA générative à des fins criminelles, qui abaisse drastiquement le coût et le niveau de compétences nécessaires pour monter des campagnes de phishing convaincantes. Face à la montée des signalements, les autorités recommandent de ne jamais cliquer sur un lien reçu par SMS et de vérifier directement auprès du transporteur via son site officiel.

UEDes milliers de consommateurs français sont directement victimes de campagnes de phishing exploitant l'IA générative, avec une multiplication des signalements auprès de Cybermalveillance.gouv.fr.

SécuritéActu
1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, rédigé par un humain · désinscription en un clic