Aller au contenu principal
La xAI d'Elon Musk poursuivie en justice pour avoir transformé de vraies photos de jeunes filles en CSAM généré par IA
SécuritéArs Technica AI · 1 min de lecture

La xAI d'Elon Musk poursuivie en justice pour avoir transformé de vraies photos de jeunes filles en CSAM généré par IA

Source originale ↗·

La filiale IA d'Elon Musk, xAI, fait face à des poursuites judiciaires après la découverte de ce qui pourrait constituer les premiers matériaux d'abus sexuels sur enfants (CSAM) générés par Grok formellement confirmés par les autorités. Le signalement, parti d'un utilisateur anonyme sur Discord, a conduit les forces de l'ordre à identifier des images réelles de jeunes filles transformées en CSAM par l'IA générative, un cas que xAI ne peut cette fois pas simplement nier.

Cette affaire prend une dimension particulièrement grave au regard des réponses passées de l'entreprise. En janvier dernier, Elon Musk avait publiquement affirmé que Grok ne produisait aucun CSAM, en plein scandale autour du refus de xAI de mettre à jour ses filtres pour empêcher le chatbot de "dénuder" des images de personnes réelles. Plutôt que de corriger le modèle, l'entreprise avait choisi de restreindre l'accès à l'image generation aux abonnés payants, une décision qui a limité la visibilité publique des dérives sans en éliminer la cause.

Les chiffres révélés lors de cette controverse sont accablants. Des chercheurs du Center for Countering Digital Hate avaient estimé que Grok avait généré environ 3 millions d'images sexualisées, dont approximativement 23 000 représentant des enfants. Selon un rapport de Wired, les contenus les plus extrêmes n'avaient pas été diffusés sur X, ce qui explique pourquoi leur existence était restée difficile à prouver jusqu'à présent.

La plainte judiciaire marque un tournant : pour la première fois, des preuves concrètes et confirmées de CSAM généré par Grok se retrouvent entre les mains de la justice, rendant caduque la stratégie de déni d'xAI. Cette affaire pourrait faire jurisprudence sur la responsabilité des éditeurs d'IA générative face aux contenus illicites produits par leurs systèmes.

Impact France/UE

Le DSA et le règlement européen sur l'IA imposent des obligations strictes de modération aux plateformes actives en Europe, ce cas pourrait accélérer des actions réglementaires contre X/Grok au sein de l'UE.

Dans nos dossiers

Cet article vous a été utile ?

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

Des mineurs poursuivent en justice xAI d'Elon Musk pour des contenus pédopornographiques générés par Grok
1The Verge AI 

Des mineurs poursuivent en justice xAI d'Elon Musk pour des contenus pédopornographiques générés par Grok

Trois adolescents du Tennessee ont déposé une action en justice collective contre xAI, la société d'intelligence artificielle d'Elon Musk, accusant le chatbot Grok d'avoir généré des images et vidéos sexualisées les représentant alors qu'ils étaient mineurs. La plainte, déposée ce lundi, constitue une mise en cause directe de la direction de l'entreprise, incluant Musk lui-même. L'affaire soulève une question fondamentale sur la responsabilité des créateurs de modèles d'IA génératifs face aux contenus illicites produits par leurs systèmes. La génération de matériel d'abus sexuel sur enfants (CSAM) par une IA grand public représente l'un des risques les plus graves identifiés par les régulateurs et les défenseurs de la protection de l'enfance, et ce cas illustre concrètement ce danger. Les plaignants, dont deux mineurs et un adulte qui était mineur au moment des faits, affirment que xAI était consciente que Grok pourrait produire ce type de contenu lors du lancement de son "spicy mode" l'année dernière. L'une des victimes, identifiée comme "Jane Doe 1", indique avoir découvert en décembre dernier l'existence d'images explicites générées par l'IA à son effigie. La plainte accuse les dirigeants d'avoir délibérément ignoré ces risques au moment du déploiement. Cette procédure s'inscrit dans un contexte de pression croissante sur les plateformes tech américaines concernant la protection des mineurs en ligne. xAI n'a pour l'heure pas commenté publiquement la plainte, initialement rapportée par le Washington Post.

UEL'affaire alimente les débats européens sur la régulation des contenus générés par IA et pourrait accélérer l'adoption de mesures de protection des mineurs dans le cadre de l'AI Act et du Digital Services Act.

SécuritéActu
1 source
Amazon présente son cadre pour des agents IA fiables à VB Transform 2026
2VentureBeat AI 

Amazon présente son cadre pour des agents IA fiables à VB Transform 2026

Amazon présentera lors de la conférence VB Transform 2026, les 14 et 15 juillet à Menlo Park (Californie), son cadre méthodologique pour concevoir des agents IA dignes de confiance en entreprise. Bryan Silverthorn, directeur du laboratoire de recherche AGI Autonomy chez Amazon, y animera une session intitulée "Closing the capability-reliability gap: Inside Amazon's framework for engineering trustworthy agents". Il y détaillera comment passer d'architectures mono-agent rudimentaires à des systèmes multi-outils capables de se corriger en cours d'exécution. La démarche d'Amazon repose sur quatre piliers : cohérence, robustesse, prévisibilité et sécurité, en remplacement des benchmarks EVAL traditionnels qui ne mesurent que des performances statiques à un instant donné. L'enjeu est considérable pour les décideurs IT, qui restent profondément méfiants vis-à-vis de l'autonomie accordée aux agents IA sur les systèmes d'entreprise. Selon une enquête VentureBeat Q2 2026 menée auprès de plus de 100 dirigeants technologiques seniors, seulement 4 % d'entre eux se disent à l'aise avec l'idée de s'appuyer uniquement sur les garde-fous intégrés aux modèles. 40 % citent l'accès non autorisé aux outils ou aux données comme principale inquiétude, et 27 % redoutent les attaques par injection de prompts. Amazon propose en réponse des environnements sandboxés où les agents soumettent leurs actions à validation humaine avant exécution, une approche particulièrement critique dans des secteurs sensibles comme la finance, où une erreur d'agent peut causer des dommages substantiels. Ce tournant vers la fiabilité plutôt que la seule performance brute intervient alors que l'industrie prend conscience des limites des scores EVAL, incapables de rendre compte du comportement des modèles face à la diversité des prompts, des environnements et des types de données en production. Amazon s'inscrit dans une tendance de fond : découpler les systèmes pour mieux les contrôler, plutôt que de supposer qu'un modèle peut être "bridé" après coup. VB Transform 2026 réunira également Manasi Joshi, directrice de l'intelligence des systèmes et du machine learning chez Waymo, qui abordera la question de l'IA sûre et efficace dans le monde physique. Ces deux sessions illustrent une préoccupation commune qui structure désormais le débat industriel : comment transformer des capacités impressionnantes en déploiements fiables, auditables, et acceptables pour les organisations qui en portent la responsabilité.

SécuritéActu
1 source
C’était une question de temps, les SMS d’arnaques sont désormais accompagnés de photo générées par IA
3Numerama 

C’était une question de temps, les SMS d’arnaques sont désormais accompagnés de photo générées par IA

Une nouvelle campagne de phishing par SMS sévit en France depuis plusieurs jours, avec une sophistication inédite : les messages frauduleux sont désormais accompagnés de photos générées par intelligence artificielle, une évolution qui marque un tournant dans les techniques d'arnaque mobile. Des dizaines d'internautes ont déjà signalé ces tentatives sur les réseaux sociaux. L'intégration de visuels générés par IA dans les campagnes de smishing représente une escalade préoccupante pour la cybersécurité grand public. Jusqu'à présent, les SMS frauduleux s'appuyaient principalement sur du texte et des liens malveillants, l'ajout d'une image crédible augmente considérablement le taux de crédibilité perçue, et donc potentiellement le taux de conversion des victimes. Cette évolution était attendue par les experts en sécurité, qui alertaient depuis longtemps sur la démocratisation des outils génératifs. La campagne cible spécifiquement des numéros français, suggérant une opération ciblée plutôt qu'un envoi massif indiscriminé. Les images générées par IA sont utilisées pour simuler des documents officiels, des colis, ou des notifications de services connus, des prétextes classiques du phishing, rendus plus convaincants par la qualité visuelle que permettent aujourd'hui des modèles comme Midjourney, DALL-E ou Stable Diffusion, accessibles à moindre coût. Face à cette menace émergente, la vigilance reste le premier rempart : tout SMS non sollicité accompagné d'une image et d'un lien doit être traité avec la plus grande méfiance, quelle que soit la qualité apparente du visuel. Le groupement d'intérêt public Cybermalveillance.gouv.fr recommande de ne jamais cliquer sur les liens contenus dans ce type de messages et de les signaler via la plateforme 33700.

UEDes numéros français sont directement ciblés par cette campagne de phishing par SMS utilisant des visuels générés par IA, augmentant le risque de fraude pour les consommateurs français.

SécuritéActu
1 source
« Attaques multi-tours : 88 % de réussite face aux IA, le testing en un tour passe à côté », alerte Cisco à VB Transform 2026
4VentureBeat AI 

« Attaques multi-tours : 88 % de réussite face aux IA, le testing en un tour passe à côté », alerte Cisco à VB Transform 2026

Lors du panel sur la sécurité agentique de VB Transform 2026, Amy Chang, responsable du renseignement sur les menaces IA et de la recherche en sécurité chez Cisco, a présenté des résultats préoccupants pour quiconque continue de tester ses modèles avec des attaques en un seul échange. Dans une étude menée avec Nicholas Conley, Cisco a soumis 15 modèles phares, fermés et propriétaires, à 30 090 tentatives d'attaque en un seul tour et à 6 986 attaques multi-tours, où l'assaillant adapte sa stratégie au fil de la conversation. Résultat : les taux de réussite en multi-tours vont de 7,89% à 88,3% selon les modèles, et chacun d'entre eux présente une vulnérabilité non négligeable à ce type d'attaque prolongée. Plus frappant encore, les deux méthodes de test ne classent même pas les modèles dans le même ordre, ce qui signifie qu'un modèle jugé robuste en test ponctuel peut s'effondrer face à une conversation adverse soutenue. Cisco publie désormais des signaux d'évaluation adversariale pour 105 modèles sur son LLM Security Leaderboard. Ces chiffres résonnent avec l'enquête Pulse de VentureBeat menée en juin 2026 auprès de 107 entreprises : 54% d'entre elles ont déjà connu un incident de sécurité confirmé lié à un agent IA (18%) ou évité de justesse un tel incident (36%). Seulement 32% attribuent une identité gérée et cloisonnée à chaque agent, et 30% isolent leurs agents les plus sensibles dans des environnements sandbox, tandis que 82% des entreprises s'appuient encore principalement sur les contrôles natifs des fournisseurs et des hyperscalers. Ce décalage entre la sophistication des menaces et la maturité des défenses explique la vague de rachats qui secoue le secteur. Palo Alto Networks a bouclé en février l'acquisition de CyberArk pour 25 milliards de dollars, CrowdStrike a annoncé en janvier le rachat de SGNL pour 740 millions de dollars, et Cisco a de son côté annoncé son intention d'acquérir Astrix Security pour environ 400 millions de dollars. Ces trois opérations ciblent la même brique manquante chez la plupart des entreprises : la gestion des identités et l'isolement des agents IA, un chantier que peu ont achevé alors que les déploiements agentiques se multiplient déjà en production. Forte de près de vingt ans d'expérience, dont un poste de directrice exécutive des opérations de cybersécurité chez JPMorgan Chase, un passage comme conseillère à la Chambre des représentants et un engagement dans la réserve de la marine américaine, Amy Chang insiste sur la simplicité de la réponse défensive malgré la complexité des attaques : revenir aux fondamentaux de ce que l'on cherche réellement à protéger. Elle recommande aux directeurs de la sécurité de partir du cadre Integrated AI Security and Safety Framework de Cisco, qui couvre l'ensemble du cycle de vie de l'IA, de la modalité jusqu'à la chaîne d'approvisionnement, pour remonter depuis des incidents réels vers une stratégie de couverture adaptée. Heather Ceylan, CISO de Box, partage ce constat : la majorité des exercices de red teaming sur les agents restent aujourd'hui limités à des tests en un seul tour, très éloignés de la manière dont les utilisateurs interagissent réellement avec ces systèmes.

SécuritéActu
1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, l'essentiel de l'IA · désinscription en un clic