« L’IA va nous détruire » : le manifeste du premier terroriste anti-ChatGPT

Les groupes terroristes utilisent tous les grands chatbots d'IA pour planifier des attaques et développer des armes

Une étude de l'université de Cambridge révèle que le groupe terroriste nigérian Boko Haram utilise les principaux chatbots d'intelligence artificielle, dont ChatGPT, Claude et Gemini, pour planifier des attaques, fabriquer des explosifs et entretenir des armes. Selon les chercheurs, des opérateurs affiliés à l'État islamique forment depuis 2023 des commandants de Boko Haram à contourner les filtres de sécurité intégrés à ces outils. L'étude documente des cas concrets où les garde-fous censés bloquer les requêtes dangereuses ont échoué à plusieurs reprises, permettant aux utilisateurs malveillants d'obtenir des informations sensibles malgré les protections mises en place par les éditeurs. Ces révélations posent un problème majeur pour l'industrie de l'IA générative. Alors qu'OpenAI, Anthropic et Google présentent régulièrement leurs mesures de modération comme des remparts efficaces contre les usages malveillants, ce constat démontre que des groupes armés organisés parviennent à détourner ces systèmes à des fins opérationnelles, avec des conséquences directes sur la sécurité de populations civiles en Afrique de l'Ouest. Pour les chercheurs, cela signifie que la simple autorégulation volontaire des entreprises technologiques ne suffit plus à contenir les risques. Ce constat s'inscrit dans un débat plus large sur l'encadrement réglementaire de l'IA face aux usages terroristes, un enjeu que les gouvernements occidentaux peinent encore à traduire en obligations contraignantes pour les fournisseurs de modèles. La coopération entre groupes djihadistes, ici entre l'État islamique et Boko Haram, autour du partage de techniques de contournement suggère également une professionnalisation croissante de ces pratiques, qui pourrait pousser les autorités et les entreprises d'IA à revoir en profondeur leurs dispositifs de détection et de blocage.

💬 Boko Haram qui utilise ChatGPT ou Gemini pour fabriquer des explosifs, ça montre que les garde-fous des grands labos ne sont pas conçus pour résister à un adversaire déterminé, juste à un usager lambda qui tape une question maladroite. Et ce qui m'inquiète le plus, c'est la mécanique décrite : des opérateurs qui forment d'autres groupes à contourner les filtres depuis 2023, donc une vraie diffusion de savoir-faire, pas un bug isolé. Selon Le Fil IA, tant que la modération restera une affaire de bonne volonté des éditeurs plutôt qu'une obligation vérifiée, ce genre de contournement continuera d'exister en pratique, quels que soient les communiqués rassurants.

ChatGPT se verrouille contre les cyberattaques : ce nouveau mode va mieux protéger vos données, comment l’activer ?

OpenAI a déployé une nouvelle fonctionnalité de sécurité baptisée "Lockdown Mode" pour ChatGPT, disponible sur l'ensemble des abonnements, du niveau gratuit jusqu'aux offres payantes. Ce mode verrouillé désactive délibérément plusieurs capacités natives du chatbot, notamment la navigation web en temps réel, afin de réduire la surface d'attaque exposée aux cybermenaces. L'activation se fait en quelques clics depuis les paramètres de l'application, sans nécessiter de configuration technique avancée. La cible principale de cette fonctionnalité est le monde professionnel : avocats, consultants, journalistes ou tout employé amené à traiter des informations sensibles ou confidentielles via ChatGPT. Le mode répond spécifiquement aux attaques par injection de requêtes, une technique où du contenu malveillant intégré dans un document ou une page web tente de détourner les instructions données au modèle pour exfiltrer des données ou manipuler les réponses. En coupant l'accès aux sources externes, OpenAI supprime le vecteur d'attaque le plus courant. Les attaques par prompt injection ont fortement progressé depuis la démocratisation des agents IA capables de naviguer sur le web et d'exécuter des actions autonomes, poussant plusieurs chercheurs en sécurité à alerter les éditeurs. OpenAI s'inscrit ainsi dans une tendance plus large du secteur, après que Microsoft et Anthropic ont également renforcé les garde-fous de leurs propres assistants. Le Lockdown Mode représente un compromis assumé entre sécurité et fonctionnalité, laissant à l'utilisateur le choix du niveau de protection selon son contexte d'usage.

Ne vous faites plus avoir : les images de ChatGPT ont désormais une « marque »

OpenAI a annoncé l'intégration progressive de SynthID, la technologie de tatouage numérique développée par Google DeepMind, dans les images générées via ChatGPT, Codex et son API. Cette initiative s'inscrit dans une stratégie plus large : depuis 2024, l'entreprise appose déjà des "Content Credentials" conformes au standard C2PA (Coalition for Content Provenance and Authenticity) sur les images produites par DALL·E 3, ImageGen et Sora. SynthID ajoute un marquage invisible directement dans les pixels de l'image, indétectable à l'œil nu mais lisible par un outil spécialisé. OpenAI déploie en parallèle un premier outil public de vérification permettant à quiconque de téléverser une image pour savoir si elle provient de ses modèles, en analysant simultanément les métadonnées C2PA et le tatouage SynthID. L'enjeu est direct : à mesure que les images générées par IA inondent les réseaux sociaux, les médias et les campagnes publicitaires, la capacité à distinguer le réel de l'artificiel devient un problème concret pour les journalistes, les plateformes et le grand public. La combinaison des deux technologies répond à une limite bien connue des systèmes basés uniquement sur les métadonnées : une simple capture d'écran suffit à effacer les informations de provenance encodées selon le standard C2PA. SynthID contourne ce problème en inscrivant le marquage dans la structure même de l'image, lui permettant de survivre à certaines modifications ou recompressions. C'est cette complémentarité qui constitue la valeur réelle du dispositif : les métadonnées fournissent un contexte détaillé sur la création, le tatouage assure une trace persistante. La course à la traçabilité des contenus synthétiques s'accélère dans un contexte de pression réglementaire croissante, notamment en Europe avec l'AI Act, qui impose des obligations de transparence sur les contenus générés par IA. OpenAI n'est pas seul sur ce terrain : Adobe, Microsoft et d'autres membres de la C2PA travaillent à des approches similaires, tandis que les grandes plateformes comme YouTube ou LinkedIn ont commencé à afficher les Content Credentials. OpenAI reconnaît cependant les limites de son système : aucune méthode n'est infaillible, et l'absence de signal détecté ne garantit pas qu'une image est authentique. L'outil de vérification public ne couvre pour l'instant que les contenus générés par OpenAI, mais l'entreprise affirme vouloir collaborer avec d'autres acteurs pour étendre le dispositif à l'ensemble de l'industrie.

💬 La vraie bonne idée, c'est la combinaison des deux systèmes. Une capture d'écran efface les métadonnées C2PA en deux secondes, SynthID survit dans les pixels eux-mêmes, et c'est là que ça change quelque chose. Bon, l'outil ne couvre que les images OpenAI pour l'instant, et ils reconnaissent eux-mêmes qu'une absence de signal ne garantit rien.

☕️ Washington veut pouvoir tester les nouveaux modèles IA avant tout le monde

Microsoft, Google et xAI ont conclu des accords avec le Centre américain pour les standards et l'innovation en IA (CAISI) afin de lui fournir un accès anticipé à leurs modèles les plus avancés avant tout déploiement public. Ces modèles seront livrés sans garde-fous de sécurité, ce qui permettra aux chercheurs gouvernementaux de tester leurs capacités dans des scénarios hostiles réalistes. Le CAISI, qui avait déjà signé des accords similaires avec OpenAI et Anthropic, compte à ce jour une quarantaine d'évaluations de modèles à son actif, dont certains n'avaient pas encore été mis à la disposition du grand public. Microsoft a confirmé auprès de Reuters cette collaboration visant à identifier des "comportements inattendus" dans ses systèmes, et a par ailleurs signé un accord comparable avec l'AI Security Institute britannique. Cette initiative répond à une préoccupation croissante à Washington : ne pas découvrir les capacités réelles d'un nouveau modèle IA en même temps que le reste du monde, hackers inclus. Le lancement récent de Mythos, le modèle de pointe d'Anthropic, a cristallisé ces inquiétudes chez les spécialistes de la cyberdéfense. Entre les mains de pirates informatiques, un tel système pourrait potentiellement identifier et exploiter des failles dans des infrastructures critiques à une vitesse et une échelle inédites. C'est précisément pour limiter ce risque que le déploiement de Mythos a été restreint à une cinquantaine d'organisations sélectionnées. Le CAISI a ainsi fait évoluer sa mission : au-delà du développement de standards de tests, il évalue désormais les risques stratégiques et militaires que font peser ces modèles sur la sécurité nationale. Créé sous l'administration Biden comme AI Safety Institute, rattaché au département du Commerce, cet organisme a été rebaptisé CAISI par l'administration Trump tout en conservant ses attributions fondamentales. Son rôle s'inscrit dans un resserrement général des liens entre Washington et l'industrie de l'IA. La semaine précédant ces annonces, le Pentagone dévoilait des accords avec plusieurs fournisseurs d'IA pour l'exploitation de leurs modèles dans des missions classifiées, écartant notamment Anthropic du lot principal, même si Mythos pourrait malgré tout y être intégré selon certaines sources. La course aux modèles de frontière confronte ainsi les grandes puissances à un dilemme inédit : plus ces systèmes sont capables, plus ils deviennent à la fois des atouts stratégiques et des vecteurs de risques que les États cherchent à anticiper avant que le marché ne les diffuse à tous.