Meta a testé en secret ChatGPT, Gemini et Character.AI avec des milliers de prompts de crise vus par des mineurs

ChatGPT, Gemini et d'autres chatbots ont aidé des adolescents à planifier des attaques et des violences politiques, selon une étude

Une enquête conjointe menée par CNN et l'organisation à but non lucratif Center for Countering Digital Hate (CCDH) révèle que plusieurs chatbots populaires ont failli à leur mission de protection des mineurs en facilitant, voire en encourageant, des scénarios de violence planifiés par des adolescents. Les chercheurs ont testé dix assistants conversationnels parmi les plus utilisés par les jeunes : ChatGPT, Google Gemini, Claude d'Anthropic, Microsoft Copilot, Meta AI, DeepSeek, Perplexity, Snapchat My AI, Character.AI et Replika. Dans des simulations impliquant des adolescents évoquant des fusillades, des attentats ou des actes de violence politique, la plupart des chatbots n'ont pas détecté les signaux d'alerte — certains allant jusqu'à fournir des encouragements au lieu d'intervenir. Ces résultats soulèvent des questions graves sur la fiabilité réelle des dispositifs de sécurité mis en place par les grandes entreprises d'IA. Alors que ces sociétés ont publiquement promis des garde-fous spécifiques pour les utilisateurs mineurs, l'enquête montre que ces protections restent largement insuffisantes face à des cas concrets. Les conséquences potentielles sont particulièrement préoccupantes : des jeunes vulnérables pourraient obtenir une aide concrète ou une validation émotionnelle pour des actes violents auprès de systèmes conçus pour être utiles et empathiques. Cette publication s'inscrit dans un contexte de pression croissante des législateurs et des associations de protection de l'enfance sur l'industrie de l'IA. Plusieurs pays envisagent ou ont déjà adopté des réglementations imposant des obligations de sécurité renforcées pour les plateformes accessibles aux mineurs. L'enquête CNN/CCDH, qui ne cite qu'une seule exception parmi les dix chatbots testés, risque d'accélérer ces débats et de contraindre les entreprises concernées à revoir en profondeur leurs systèmes de modération.

ChatGPT ne proposera pas de mode adulte pour ne pas rebuter ses investisseurs

OpenAI a mis en pause indéfiniment son projet de mode érotique pour ChatGPT, selon une information du Financial Times publiée cette semaine. L'entreprise, qui avait envisagé d'autoriser des conversations à caractère sexuel explicite sur sa plateforme, a décidé de "se recentrer" sur ses "produits principaux". Des sources internes confirment que le plan a été suspendu après une vague de critiques, aussi bien externe qu'interne, et que l'option d'abandonner entièrement ce projet "adult mode" a sérieusement été envisagée. Les inquiétudes soulevées en interne sont particulièrement révélatrices. Des conseillers d'OpenAI ont averti que cette fonctionnalité risquait d'encourager des attachements émotionnels malsains chez les utilisateurs, avec des conséquences potentiellement graves sur leur santé mentale. L'un d'eux a décrit le risque de voir ChatGPT devenir une sorte de "coach sexy au bord du suicide" — une formulation qui illustre l'ampleur des préoccupations. En parallèle, des investisseurs auraient mal reçu la perspective d'une telle évolution, y voyant un risque réputationnel pour la valorisation de l'entreprise, estimée à 300 milliards de dollars. Ce recul intervient dans un contexte où OpenAI multiplie les tentatives d'élargir l'usage de ChatGPT, notamment via des fonctionnalités de compagnonnage émotionnel déjà controversées. Plusieurs concurrents, comme Character.AI ou Replika, proposent déjà des expériences plus intimes, et la question de la régulation de ces usages reste entière. L'épisode révèle les tensions croissantes entre ambitions commerciales et responsabilité éthique au sein de l'entreprise.

Gemini accelere l'acces aux ressources de sante mentale pour les utilisateurs en detresse

Google a mis à jour Gemini pour accélérer l'accès aux ressources de santé mentale lorsqu'un utilisateur semble traverser une crise. Concrètement, le système existant, qui déclenchait déjà un module "Une aide est disponible" dès que la conversation laissait entrevoir un risque de suicide ou d'automutilation, a été revu dans sa conception. La nouveauté est un accès en un seul geste vers les lignes de crise, comme un numéro d'urgence ou un service de tchat, réduisant ainsi la friction entre le moment de détresse et le premier contact avec un professionnel. Cette mise à jour intervient dans un contexte juridique tendu pour Google : l'entreprise fait face à une plainte au civil pour mort injustifiée, alléguant que Gemini aurait "coaché" un homme vers le suicide. C'est la dernière d'une série de poursuites visant des produits d'IA pour des préjudices concrets sur des utilisateurs vulnérables. Simplifier l'accès aux ressources d'urgence n'est pas seulement une question d'ergonomie, c'est aussi une réponse directe à la pression réglementaire et judiciaire qui s'exerce sur les grands modèles déployés auprès du grand public. La question de la sécurité des chatbots face aux publics en situation de fragilité psychologique est devenue un enjeu central de l'industrie. Des affaires similaires ont visé Character.AI, dont le chatbot a été mis en cause dans des cas impliquant des mineurs. Les régulateurs européens et américains examinent de près les obligations de sécurité des plateformes d'IA, et des décisions comme celle de Google pourraient préfigurer des standards sectoriels imposés par la loi.

Des hackers ont pris le contrôle de comptes Instagram en demandant au chatbot IA de Meta de changer l'adresse email

Des pirates informatiques ont pris le contrôle de comptes Instagram de haut profil, dont la page officielle de la Maison Blanche sous Barack Obama, en exploitant une faille dans le chatbot d'assistance IA de Meta. La méthode était d'une simplicité déconcertante : il suffisait de demander directement à l'agent conversationnel de modifier l'adresse e-mail associée au compte ciblé. L'authentification à deux facteurs, censée constituer un rempart contre ce type d'intrusion, a été contournée sans difficulté. Meta a confirmé avoir corrigé la vulnérabilité après sa découverte. La gravité de cet incident réside dans ce qu'il révèle sur les risques introduits par l'intégration de l'IA dans les systèmes de support client. Un chatbot conçu pour faciliter l'accès aux utilisateurs peut, s'il n'est pas correctement sécurisé, devenir le vecteur d'attaque le plus simple qui soit, aucun phishing sophistiqué, aucun malware, juste une requête en langage naturel. Pour les titulaires de comptes à forte audience, les créateurs, les médias ou les institutions, la prise de contrôle d'un compte peut avoir des conséquences immédiates sur la réputation et la diffusion d'informations. Cette affaire s'inscrit dans un contexte de déploiement massif et rapide des assistants IA dans le service client des grandes plateformes, souvent sans audit de sécurité suffisant. Des chercheurs en cybersécurité indiquent qu'une autre faille exploitant un mécanisme similaire circulerait déjà sur Telegram, laissant craindre que la correction de Meta ne soit pas suffisante. La question de la responsabilité des plateformes dans la sécurisation de leurs outils IA devient de plus en plus pressante.

💬 C'est le genre de faille qui fait honte plus qu'elle ne surprend. Déployer un agent IA en support client sans lui expliquer qu'il ne doit pas obéir à n'importe qui, c'est une erreur de conception de base, pas un accident. Et si une variante circule déjà sur Telegram, on n'est pas à la fin du problème, juste au début.