Les téléphones Android pourront bientôt détecter les appels usurpés et les arnaques à l'usurpation d'identité

OpenAI étend l'évaluation des risques pré-déploiement au codage à base d'agents via des appels d'outils simulés

OpenAI a publié une nouvelle méthode de sécurité pré-déploiement baptisée Deployment Simulation, décrite dans un document technique mis en ligne sur son site. Le principe est simple : avant qu'un modèle soit mis en production, on simule son déploiement à l'avance. Concrètement, OpenAI rejoue des conversations réelles passées en remplaçant les réponses de l'ancien modèle par celles du nouveau candidat, puis analyse les résultats pour détecter d'éventuels comportements indésirables. La méthode est conçue pour préserver la vie privée des utilisateurs et produit une estimation du taux de comportements problématiques par message, vérifiable après la mise en ligne sur le trafic réel. La technique présente toutefois une limite inhérente : elle ne peut pas détecter des comportements qui se produisent moins d'une fois tous les 200 000 messages, ce qui la cantonne aux risques non marginaux. L'intérêt principal de cette approche réside dans ce qu'elle corrige par rapport aux évaluations traditionnelles. Celles-ci reposent sur des jeux de données synthétiques ou construits manuellement, sélectionnés pour être difficiles ou adversariaux, ce qui introduit trois biais connus : une sélection partiale des prompts, une couverture limitée, et une «conscience de l'évaluation» car le modèle peut réagir différemment à des contextes clairement artificiels. La Deployment Simulation, en s'appuyant sur une distribution représentative du trafic réel, réduit ces trois problèmes simultanément. La qualité de l'estimation croît avec la puissance de calcul disponible, et non avec l'effort humain nécessaire pour construire des benchmarks. OpenAI précise que la méthode a déjà informé des décisions de déploiement concrètes et mis en évidence des angles morts dans les évaluations classiques. Cette publication s'inscrit dans un effort plus large de l'industrie pour combler l'écart entre les tests de sécurité en laboratoire et les comportements réels des modèles en production. Les évaluations traditionnelles restent indispensables pour les risques rares et à haute sévérité, que la Deployment Simulation ne peut pas couvrir en dessous d'un certain seuil de prévalence. OpenAI présente les deux approches comme complémentaires plutôt que concurrentes. Alors que les grands laboratoires intensifient leurs travaux sur les systèmes agentiques, capables d'exécuter des tâches autonomes et d'appeler des outils externes, la question de la sécurité pré-déploiement devient plus critique. La méthode offre un cadre scalable pour anticiper les dérives avant qu'elles n'atteignent des millions d'utilisateurs, ce qui représente un pas méthodologique concret dans un domaine où les standards restent encore largement à construire.

Les groupes terroristes utilisent tous les grands chatbots d'IA pour planifier des attaques et développer des armes

Une étude de l'université de Cambridge révèle que le groupe terroriste nigérian Boko Haram utilise les principaux chatbots d'intelligence artificielle, dont ChatGPT, Claude et Gemini, pour planifier des attaques, fabriquer des explosifs et entretenir des armes. Selon les chercheurs, des opérateurs affiliés à l'État islamique forment depuis 2023 des commandants de Boko Haram à contourner les filtres de sécurité intégrés à ces outils. L'étude documente des cas concrets où les garde-fous censés bloquer les requêtes dangereuses ont échoué à plusieurs reprises, permettant aux utilisateurs malveillants d'obtenir des informations sensibles malgré les protections mises en place par les éditeurs. Ces révélations posent un problème majeur pour l'industrie de l'IA générative. Alors qu'OpenAI, Anthropic et Google présentent régulièrement leurs mesures de modération comme des remparts efficaces contre les usages malveillants, ce constat démontre que des groupes armés organisés parviennent à détourner ces systèmes à des fins opérationnelles, avec des conséquences directes sur la sécurité de populations civiles en Afrique de l'Ouest. Pour les chercheurs, cela signifie que la simple autorégulation volontaire des entreprises technologiques ne suffit plus à contenir les risques. Ce constat s'inscrit dans un débat plus large sur l'encadrement réglementaire de l'IA face aux usages terroristes, un enjeu que les gouvernements occidentaux peinent encore à traduire en obligations contraignantes pour les fournisseurs de modèles. La coopération entre groupes djihadistes, ici entre l'État islamique et Boko Haram, autour du partage de techniques de contournement suggère également une professionnalisation croissante de ces pratiques, qui pourrait pousser les autorités et les entreprises d'IA à revoir en profondeur leurs dispositifs de détection et de blocage.

💬 Boko Haram qui utilise ChatGPT ou Gemini pour fabriquer des explosifs, ça montre que les garde-fous des grands labos ne sont pas conçus pour résister à un adversaire déterminé, juste à un usager lambda qui tape une question maladroite. Et ce qui m'inquiète le plus, c'est la mécanique décrite : des opérateurs qui forment d'autres groupes à contourner les filtres depuis 2023, donc une vraie diffusion de savoir-faire, pas un bug isolé. Selon Le Fil IA, tant que la modération restera une affaire de bonne volonté des éditeurs plutôt qu'une obligation vérifiée, ce genre de contournement continuera d'exister en pratique, quels que soient les communiqués rassurants.

Les tests d'intrusion appliqués à l'IA : définition et enjeux

Le nombre d'incidents liés à l'intelligence artificielle est passé de 233 en 2024 à 362 en 2026, selon une étude récente, signe que les risques s'accélèrent à mesure que les organisations déploient des systèmes d'IA en production. Face à cette montée des menaces, une pratique héritée de la cybersécurité traditionnelle s'impose désormais dans le domaine de l'IA : le red teaming. Il s'agit de soumettre des modèles, agents et applications à des scénarios d'attaque délibérément adversariaux, injections de prompts, manipulation de données, tentatives de contournement des garde-fous, pour en révéler les failles avant qu'elles ne soient exploitées. Des prestataires spécialisés comme CBIZ Pivot Point Security ou Reply proposent aujourd'hui des services structurés qui combinent tests offensifs manuels, gouvernance et alignement réglementaire, couvrant des architectures complexes telles que les workflows agentiques, les pipelines RAG ou les intégrations via MCP. L'intérêt concret pour les entreprises est multiple. Sur le plan de la sécurité, ces tests exposent les vulnérabilités cachées, notamment les accès non autorisés à des données via des agents connectés à des API, avant que des attaquants réels ne puissent en abuser. Sur le plan réglementaire, les résultats des tests servent de preuves de robustesse auprès des autorités, permettant aux organisations de démontrer leur conformité avec des référentiels comme le NIST AI RMF, l'EU AI Act ou l'ISO 42001. En matière de résilience opérationnelle, les simulations d'attaque permettent aux équipes d'affiner leurs règles de détection et de réduire le temps de réponse lors d'incidents réels. Enfin, des cycles de tests adversariaux continus renforcent la stabilité des systèmes face à des conditions imprévues et à des techniques d'attaque en constante évolution. Le red teaming n'est pas une nouveauté en cybersécurité, des équipes de sécurité offensive testent les infrastructures IT depuis des décennies. Son application à l'IA est en revanche récente, et répond à des défis spécifiques : les modèles de langage ont des surfaces d'attaque radicalement différentes des logiciels traditionnels, avec des comportements difficiles à anticiper face à des entrées malveillantes. L'explosion des agents autonomes connectés à des outils externes a encore complexifié la situation, multipliant les points d'entrée potentiels. L'émergence d'un marché de prestataires spécialisés, au-delà des trois cités dans l'article original, le secteur compte désormais des dizaines d'acteurs, témoigne de la maturité croissante de cette discipline. À mesure que les réglementations comme l'EU AI Act entreront en vigueur, le red teaming devrait passer d'une bonne pratique facultative à une exigence de conformité incontournable pour les systèmes d'IA à haut risque.

Amazon utilise des agents IA pour la détection de vulnérabilités à grande échelle

En 2025, la base de données nationale des vulnérabilités américaine (NVD) a enregistré plus de 48 000 nouvelles failles de sécurité référencées (CVE), un volume rendu possible en grande partie par la prolifération des outils automatisés de détection. Face à cette explosion, Amazon Web Services a développé RuleForge, un système d'intelligence artificielle agentique conçu pour générer automatiquement des règles de détection à partir d'exemples de code d'exploitation de vulnérabilités. Déployé en production chez AWS, RuleForge affiche une productivité supérieure de 336 % à la création manuelle, tout en conservant le niveau de précision exigé pour des systèmes de sécurité industriels. Les règles produites sont au format JSON et alimentent directement MadPot, le système mondial de "honeypot" d'Amazon qui capture le comportement des attaquants, ainsi que Sonaris, le moteur interne de détection d'exploits suspects. Avant RuleForge, transformer une CVE en règle de détection opérationnelle était un processus entièrement manuel : un analyste téléchargeait le code de preuve de concept, étudiait le mécanisme d'attaque, rédigeait la logique de détection, la validait par itérations successives contre les journaux de trafic, puis soumettait le tout à une revue par un second ingénieur avant déploiement. Ce cycle, rigoureux mais lent, obligeait les équipes à prioriser strictement les vulnérabilités traitées, laissant potentiellement des failles critiques sans couverture. RuleForge comprime ce délai de façon drastique : le système ingère automatiquement le code d'exploitation public, attribue un score de priorité via une analyse de contenu croisée avec des sources de threat intelligence, puis génère en parallèle plusieurs règles candidates via un agent tournant sur AWS Fargate avec Amazon Bedrock. Chaque candidate est évaluée non pas par le modèle qui l'a produite, mais par un agent "juge" distinct, évitant ainsi l'auto-validation biaisée. Les humains restent dans la boucle pour l'approbation finale avant mise en production. Cette architecture reflète une tendance profonde dans la sécurité offensive et défensive : l'automatisation par IA ne remplace pas les experts, elle leur permet de travailler à une échelle autrement inaccessible. AWS anticipe une croissance continue du nombre de CVE à haute sévérité publiées, portée par les mêmes outils d'IA qui accélèrent la découverte de failles côté attaquants. RuleForge représente la réponse symétrique côté défense, en industrialisant la réactivité. L'approche modulaire, avec des agents spécialisés pour la génération, l'évaluation et le raffinement, plutôt qu'un seul modèle monolithique, s'inscrit dans la lignée des architectures multi-agents qui émergent comme standard pour les tâches complexes nécessitant fiabilité et auditabilité. D'autres grands acteurs du cloud font face aux mêmes défis, et la publication par Amazon des détails de RuleForge suggère une volonté de positionner cette approche comme référence sectorielle.