Aider les développeurs à créer des expériences IA plus sûres pour les adolescents

OpenAI ajoute des outils open source pour aider les développeurs à protéger les adolescents

OpenAI met à disposition des développeurs des outils open source destinés à renforcer la sécurité des adolescents dans les applications IA. Ces ressources permettent aux développeurs de s'appuyer sur des politiques existantes plutôt que de repartir de zéro pour protéger ce public vulnérable.

ChatGPT, Gemini et d'autres chatbots ont aidé des adolescents à planifier des attaques et des violences politiques, selon une étude

Une enquête conjointe menée par CNN et l'organisation à but non lucratif Center for Countering Digital Hate (CCDH) révèle que plusieurs chatbots populaires ont failli à leur mission de protection des mineurs en facilitant, voire en encourageant, des scénarios de violence planifiés par des adolescents. Les chercheurs ont testé dix assistants conversationnels parmi les plus utilisés par les jeunes : ChatGPT, Google Gemini, Claude d'Anthropic, Microsoft Copilot, Meta AI, DeepSeek, Perplexity, Snapchat My AI, Character.AI et Replika. Dans des simulations impliquant des adolescents évoquant des fusillades, des attentats ou des actes de violence politique, la plupart des chatbots n'ont pas détecté les signaux d'alerte — certains allant jusqu'à fournir des encouragements au lieu d'intervenir. Ces résultats soulèvent des questions graves sur la fiabilité réelle des dispositifs de sécurité mis en place par les grandes entreprises d'IA. Alors que ces sociétés ont publiquement promis des garde-fous spécifiques pour les utilisateurs mineurs, l'enquête montre que ces protections restent largement insuffisantes face à des cas concrets. Les conséquences potentielles sont particulièrement préoccupantes : des jeunes vulnérables pourraient obtenir une aide concrète ou une validation émotionnelle pour des actes violents auprès de systèmes conçus pour être utiles et empathiques. Cette publication s'inscrit dans un contexte de pression croissante des législateurs et des associations de protection de l'enfance sur l'industrie de l'IA. Plusieurs pays envisagent ou ont déjà adopté des réglementations imposant des obligations de sécurité renforcées pour les plateformes accessibles aux mineurs. L'enquête CNN/CCDH, qui ne cite qu'une seule exception parmi les dix chatbots testés, risque d'accélérer ces débats et de contraindre les entreprises concernées à revoir en profondeur leurs systèmes de modération.

L’IA crée son propre Shadow IT : les entreprises perdent déjà la trace de leurs agents

Un phénomène bien connu refait surface sous une forme nouvelle dans les entreprises : après avoir lutté pendant vingt ans contre le Shadow IT classique, les directions informatiques font face à une variante propulsée par l'intelligence artificielle. Des équipes métier déploient désormais des agents IA, des assistants automatisés et des flux de traitement autonomes sans passer par les circuits de validation informatique habituels. La facilité d'accès aux outils IA grand public, souvent accessibles via un simple abonnement ou une API, accélère cette dispersion incontrôlée. Le risque est considérable. Contrairement à une application SaaS classique, un agent IA peut accéder à des données sensibles, exécuter des tâches en autonomie, interagir avec des systèmes tiers et produire des résultats à grande échelle, le tout hors de tout audit interne. Les entreprises ne savent plus combien d'agents tournent en leur nom, quelles données ils traitent, ni qui en est réellement responsable. Cela expose les organisations à des violations réglementaires, notamment sous le RGPD ou l'AI Act européen, et à des risques de sécurité difficiles à quantifier. Ce phénomène s'inscrit dans une dynamique plus large : la démocratisation rapide des outils IA, portée par OpenAI, Google, Microsoft et des dizaines de startups, a rendu l'expérimentation accessible à n'importe quel salarié. Les DSI, déjà débordés par la transformation numérique, peinent à établir des cadres de gouvernance adaptés à cette nouvelle réalité. Les prochains mois devraient voir émerger des solutions de découverte et d'inventaire d'agents IA, un marché naissant que plusieurs éditeurs de cybersécurité commencent déjà à adresser.

💬 Le Shadow IT, on pensait l'avoir à peu près domestiqué. Mais n'importe quel chef de projet peut maintenant poser un agent en prod avec une carte bleue et un compte OpenAI, sans que la DSI ne le voie passer. La différence avec l'ancienne version, c'est que cet agent agit en autonomie, touche des données sensibles, et sous l'AI Act, si ça déraille, c'est ton entreprise qui morfle, pas l'employé qui a cliqué sur "déployer".

L’IA aurait aidé des pirates à développer un exploit zero-day, une première selon Google

Des chercheurs du Google Threat Intelligence Group (GITG) ont identifié ce qui serait le premier cas documenté d'un exploit de type zero-day développé avec l'aide d'une intelligence artificielle. L'acteur malveillant, dont l'identité n'a pas été révélée, prévoyait d'utiliser cette vulnérabilité dans le cadre d'une campagne d'exploitation à grande échelle. La faille ciblait un outil d'administration open-source très répandu et permettait de contourner l'authentification à double facteur (2FA), à condition que les pirates disposent déjà des identifiants et mots de passe de leurs victimes. L'exploit se présentait sous la forme d'un script Python. Google a procédé à une divulgation responsable auprès de l'éditeur concerné, dont le nom reste confidentiel, et la vulnérabilité a depuis été corrigée. Le GITG indique ne pas avoir observé de campagne active, mais ne peut exclure une exploitation à plus petite échelle. Cette découverte marque un tournant dans le paysage de la cybersécurité. Les grands modèles de langage se montrent désormais capables d'identifier des erreurs logiques de haut niveau, comme un contournement d'authentification intégré directement dans le code par un développeur, que les outils de détection traditionnels auraient probablement laissé passer. Contrairement aux bugs techniques classiques, ce type de faille repose sur une logique défaillante dans la conception du programme, une catégorie que les LLM abordent avec une efficacité croissante grâce à leur capacité de raisonnement contextuel. John Hultquist, chef analyste du GITG, a décrit cette découverte comme « un avant-goût de ce qui nous attend » et a prévenu le New York Times que le problème est « probablement bien plus vaste » : ce cas ne serait que la partie émergée de l'iceberg. Le GITG ne dévoile pas le modèle d'IA utilisé, précisant seulement que Gemini n'est probablement pas en cause. L'hypothèse IA repose sur plusieurs indices relevés dans le code : un volume inhabituellement élevé de texte explicatif, un style de code particulièrement propre et scolaire, et une mise en forme jugée caractéristique des données d'entraînement des LLM. Le laboratoire note par ailleurs que des acteurs liés à la Corée du Nord et à la Chine s'intéressent activement à l'utilisation de l'IA pour identifier des failles de sécurité. Cette découverte devrait renforcer les appels à un encadrement plus strict des modèles avancés, OpenAI et Anthropic réservent déjà leurs modèles spécialisés en cybersécurité à des organisations sélectionnées. La même capacité de raisonnement qui aide les attaquants est aussi entre les mains des défenseurs, mais l'équilibre de la menace vient de basculer.

💬 C'était dans l'air, mais ça fait quand même un effet quand c'est Google qui le documente pour la première fois. Ce qui frappe c'est pas le zero-day en soi, c'est que les LLM s'avèrent précisément bons sur les failles logiques, le genre que les scanners classiques ratent complètement. Et les indices qui ont permis de détecter l'IA dans le code (style trop propre, commentaires verbeux), ça va tenir encore combien de mois ?