Des bots de dénudification, des deepfakes et des…

Présentation : deepfakes, désinformation et contenus IA envahissent Internet

45

1InfoQ AI

Présentation : deepfakes, désinformation et contenus IA envahissent Internet

Shuman Ghosemajumder, expert en cybersécurité et ancien responsable de la lutte contre la fraude publicitaire chez Google, a présenté une analyse détaillée de la façon dont l'intelligence artificielle générative s'est muée en infrastructure industrielle de désinformation et de fraude. Il introduit le concept de "Disinformation Automation" : la production automatisée, à grande échelle et à faible coût, de contenus trompeurs, de deepfakes et de faux profils, rendus crédibles grâce aux modèles génératifs actuels. L'un des points centraux de sa présentation est la faillite des CAPTCHA comme rempart contre les bots. Ces systèmes, conçus pour distinguer humains et machines, sont désormais contournés par des IA avec une fiabilité supérieure à celle de nombreux utilisateurs humains. Cela signifie que des pans entiers de la sécurité web reposent sur une hypothèse devenue obsolète. Pour les plateformes, les médias et les entreprises, le risque concret est une manipulation d'opinion à grande échelle, des campagnes de fraude automatisées et une érosion de la confiance numérique qui touche aussi bien les particuliers que les institutions. Face à cette menace, Ghosemajumder préconise une stratégie dite de "cyber fusion" à confiance zéro, obligeant les responsables techniques à repenser leurs architectures de défense en partant du principe qu'aucune interaction n'est intrinsèquement humaine. Cette posture émerge dans un contexte où les outils génératifs, accessibles à quiconque, ont démocratisé la création de contenus malveillants. La course entre systèmes d'attaque et de défense s'accélère, et les organisations qui n'adaptent pas leurs modèles de sécurité dès maintenant risquent d'être dépassées dans les prochains mois.

UELa démocratisation des outils de désinformation automatisée expose directement les plateformes et institutions européennes à des campagnes de manipulation d'opinion, un risque explicitement couvert par l'AI Act et les règlements européens sur les deepfakes.

SécuritéOpinion

1 source

Scam.ai annonce un partenariat avec Qualcomm et lance Halo, son modèle de détection de deepfakes, au Computex 2026

43

2AI News

Scam.ai annonce un partenariat avec Qualcomm et lance Halo, son modèle de détection de deepfakes, au Computex 2026

La start-up Scam.ai a annoncé le 29 juin 2026, lors du Computex de Taipei, un partenariat avec Qualcomm et le lancement de Halo, un modèle de détection de deepfakes fonctionnant directement sur l'appareil de l'utilisateur pour les appels vidéo en direct. Présentée sur le stand de Qualcomm dans le cadre de la piste "Agentic AI" du salon, cette technologie analyse les flux vidéo en temps réel pendant n'importe quelle session de visioconférence, sans envoyer aucune image vers un serveur distant. Halo fonctionne en arrière-plan, de manière totalement passive, sans modifier les habitudes de travail existantes, et est optimisé pour les ordinateurs équipés de puces Qualcomm. Le partenariat donne à Scam.ai accès aux ressources et au support d'optimisation de l'écosystème matériel de Qualcomm, ce qui permet à Halo de tourner localement sans dépendre d'une infrastructure cloud. Le produit est disponible depuis juin 2026, avec des détails sur l'intégration enterprise et de nouveaux partenariats à venir dans les prochains mois. L'enjeu est considérable : les tentatives de fraude par deepfake ont progressé de plus de 2 000 % en trois ans, et seulement 31 % des responsables RH déclarent se sentir capables de les détecter. Halo cible en priorité deux profils exposés : les équipes RH et de recrutement qui conduisent des entretiens vidéo, et les dirigeants à haute valeur comme les PDG, directeurs financiers et investisseurs en capital-risque, dont les appels à fort enjeu constituent des cibles privilégiées pour l'usurpation d'identité. La fraude à l'identité lors d'entretiens vidéo est devenue un risque documenté et croissant pour les entreprises, et les solutions de détection existantes interviennent souvent après coup, là où Halo agit à la source, pendant l'appel lui-même. Dennis Ng, cofondateur de Scam.ai, souligne que les mesures de sécurité traditionnelles deviennent inefficaces dès qu'un humain est trompé, ce qui justifie une détection au moment précis de l'interaction. La montée des deepfakes en entreprise s'inscrit dans un contexte plus large d'explosion des outils de génération vidéo par IA, qui ont rendu la falsification de visages en temps réel accessible au plus grand nombre. Face à cette menace, plusieurs acteurs technologiques cherchent à développer des contre-mesures, mais la plupart des approches reposent encore sur une analyse post-call dans le cloud, soulevant des questions de confidentialité des données. L'approche on-device de Scam.ai répond directement à cette préoccupation, en gardant les images vidéo sur la machine de l'utilisateur. Le choix de Qualcomm comme partenaire positionne la solution sur les PC Copilot+ et les appareils Windows ARM, un segment en pleine croissance. La prochaine étape pour Scam.ai sera d'annoncer des intégrations avec les grandes plateformes de visioconférence, ce qui déterminera sa capacité à s'imposer comme standard de sécurité dans les environnements professionnels.

UELa fraude par deepfake lors d'entretiens et d'appels vidéo touche également les entreprises françaises et européennes, qui pourraient bénéficier de solutions de détection en temps réel dont l'approche on-device est compatible avec les exigences de confidentialité du RGPD.

SécuritéActu

1 source

45

3AI News

Comment se préparer à un incident de système IA et y répondre

Une majorité d'organisations seraient incapables de gérer correctement une crise liée à leurs systèmes d'IA, selon un rapport publié par l'ISACA, association internationale spécialisée dans la gouvernance des systèmes d'information. L'étude révèle que 59 % des professionnels interrogés ne savent pas combien de temps il faudrait à leur organisation pour interrompre un système d'IA en cas d'incident de sécurité. Seuls 21 % affirment pouvoir intervenir en moins de trente minutes. Par ailleurs, 42 % seulement se disent capables d'analyser et d'expliquer un incident grave, et 20 % avouent ignorer qui serait responsable si un système d'IA causait des dommages. À peine 38 % désignent un membre du conseil d'administration ou un dirigeant exécutif comme ultimement responsable. Ces chiffres révèlent une faille structurelle aux conséquences potentiellement graves. Un système d'IA compromis ou défaillant qui continue de fonctionner sans contrôle peut causer des dommages irréversibles, qu'ils soient opérationnels, financiers ou réputationnels. L'incapacité à expliquer un incident aux régulateurs expose également les entreprises à des sanctions légales et à une perte de confiance publique. Ali Sarrafi, PDG de Kovant, une plateforme d'entreprise autonome, souligne que le problème n'est pas le rythme d'adoption de l'IA, mais la manière dont elle est gérée : les systèmes sont intégrés dans des flux de travail critiques sans la couche de gouvernance nécessaire pour superviser leurs actions, identifier les responsables et les stopper instantanément si nécessaire. Plus d'un tiers des organisations n'exigent même pas que leurs employés signalent où et quand ils utilisent l'IA dans leurs livrables, ce qui multiplie les angles morts. La gouvernance de l'IA reste un chantier largement inachevé dans la plupart des secteurs, malgré un durcissement réglementaire qui engage davantage la responsabilité des dirigeants. Si 40 % des répondants indiquent qu'un humain valide la quasi-totalité des actions d'IA avant déploiement et 26 % évaluent les résultats a posteriori, cette vigilance individuelle reste insuffisante en l'absence d'une infrastructure de contrôle solide. Sarrafi plaide pour que les systèmes d'IA soient traités comme des "employés numériques", dotés d'une propriété claire, de chemins d'escalade définis et d'un mécanisme de suspension immédiate en cas de dépassement de seuils de risque. La gouvernance ne peut pas être une réflexion après coup : elle doit être intégrée dès la conception, à chaque niveau de l'architecture. Les organisations qui parviendront à mettre cela en place ne se contenteront pas de réduire les risques, elles seront aussi les mieux positionnées pour déployer l'IA à grande échelle en toute confiance.

UEL'AI Act impose aux organisations déployant des systèmes d'IA à risque élevé en Europe des obligations de gouvernance, de traçabilité et de gestion des incidents, rendant ces lacunes structurelles directement problématiques sur le plan réglementaire.

SécuritéOpinion

1 source

51

4MIT Technology Review

Deepfakes utilisés comme armes

Les deepfakes armés sont passés du stade de menace théorique à celui de réalité documentée. Des images sexuellement explicites aux vidéos de propagande politique, ces contenus générés par intelligence artificielle, vidéos, images ou enregistrements audio falsifiés, prolifèrent à une vitesse inédite. Une étude de 2023 révèle que 98 % des deepfakes en circulation sont pornographiques, et 99 % mettent en scène des femmes. Depuis le lancement de la fonction "édition d'image" de Grok par Elon Musk fin 2024, des millions d'images sexualisées ont été produites via ce chatbot, dont un grand nombre impliquant des enfants et des femmes, selon un rapport, 81 % des images générées par Grok représentaient des femmes. La réponse initiale de xAI s'est limitée à restreindre la fonctionnalité aux abonnés payants, avant de bloquer les contenus à caractère nu dans les juridictions où cela est illégal. Sur le plan politique, le procureur général du Texas Ken Paxton a diffusé en janvier 2026 une vidéo truquée montrant son adversaire républicain, le sénateur John Cornyn, dansant avec la représentante démocrate Jasmine Crockett, une scène qui n'a jamais eu lieu, sans que la publicité ne le mentionne clairement. L'impact de ces faux contenus dépasse largement le simple scandale médiatique. Ils ont déjà été utilisés pour inciter à la violence, tenter d'influencer des scrutins et saper la confiance dans les institutions. Les effets sont particulièrement dévastateurs pour les femmes et les groupes marginalisés, qui constituent les cibles disproportionnées de ces attaques. Les experts alertent sur un effet de fond plus insidieux : l'érosion progressive de l'esprit critique et de la confiance mutuelle au sein des sociétés démocratiques. Lorsque l'administration Trump partage des images générées par IA, comme ce portrait d'une avocate de Minneapolis dont la peau a été artificiellement assombrie et l'expression transformée en grimace de pleurs, diffusé par la Maison-Blanche fin janvier, la frontière entre communication politique et manipulation devient dangereusement floue. Les solutions envisagées peinent à répondre à l'ampleur du défi. Les garde-fous techniques peuvent être contournés, notamment via des modèles open source dépourvus de restrictions. Encourager les individus à mieux protéger leurs données personnelles ou à appliquer des filigranes à leurs photos relève de l'utopie comportementale. La voie législative progresse, Trump a signé une loi criminalisant les deepfakes pornographiques, mais son administration continue de diffuser d'autres formes de contenus manipulés, rendant l'application de la loi incohérente. La situation risque de s'aggraver rapidement : les élections de mi-mandat américaines de 2026 approchent dans un contexte où les agences fédérales chargées de l'intégrité électorale ont été affaiblies, tout comme les organisations indépendantes de fact-checking et de lutte contre la désinformation.

UEL'AI Act européen impose des obligations de transparence et d'étiquetage sur les deepfakes et contenus synthétiques, rendant ce phénomène directement structurant pour les plateformes opérant dans l'UE.

SécuritéOpinion

1 source

Des bots de dénudification, des deepfakes et des archives automatisées : comment l'IA alimente un écosystème d'abus monétisé sur Telegram

À lire aussi

Présentation : deepfakes, désinformation et contenus IA envahissent Internet

Scam.ai annonce un partenariat avec Qualcomm et lance Halo, son modèle de détection de deepfakes, au Computex 2026

Comment se préparer à un incident de système IA et y répondre

Deepfakes utilisés comme armes