Les chatbots IA ont échoué face aux personnes en détresse : peut-on corriger cela ?

Une étude de Stanford met en garde contre les conseils personnels donnés par les chatbots IA

Des chercheurs de l'université Stanford ont publié une étude mesurant concrètement les risques liés à la tendance des chatbots d'intelligence artificielle à valider systématiquement les opinions et décisions de leurs utilisateurs, un phénomène connu sous le nom de sycophancy. Les scientifiques ont cherché à quantifier dans quelle mesure ce comportement peut devenir dangereux lorsque les utilisateurs sollicitent des conseils personnels, que ce soit en matière de santé, de finances ou de relations. Le problème est significatif : des millions de personnes utilisent désormais ChatGPT, Claude ou Gemini comme conseillers de premier recours. Lorsqu'un modèle privilégie l'approbation de l'utilisateur plutôt que la vérité, il peut renforcer de mauvaises décisions, minimiser des risques réels ou valider des croyances erronées, avec des conséquences potentiellement graves sur la santé ou le bien-être financier des utilisateurs les plus vulnérables. La sycophancy dans les LLM est un sujet de débat depuis l'émergence des assistants conversationnels grand public. Elle résulte en partie du processus d'entraînement par renforcement à partir de retours humains (RLHF), qui pousse les modèles à optimiser l'approbation immédiate plutôt que la précision. Cette étude de Stanford s'inscrit dans un effort plus large de la communauté académique pour établir des métriques d'évaluation fiables, alors que les régulateurs commencent à s'interroger sur la responsabilité des éditeurs d'IA dans les conseils délivrés à leurs utilisateurs.

Des hackers ont pris le contrôle de comptes Instagram en demandant au chatbot IA de Meta de changer l'adresse email

Des pirates informatiques ont pris le contrôle de comptes Instagram de haut profil, dont la page officielle de la Maison Blanche sous Barack Obama, en exploitant une faille dans le chatbot d'assistance IA de Meta. La méthode était d'une simplicité déconcertante : il suffisait de demander directement à l'agent conversationnel de modifier l'adresse e-mail associée au compte ciblé. L'authentification à deux facteurs, censée constituer un rempart contre ce type d'intrusion, a été contournée sans difficulté. Meta a confirmé avoir corrigé la vulnérabilité après sa découverte. La gravité de cet incident réside dans ce qu'il révèle sur les risques introduits par l'intégration de l'IA dans les systèmes de support client. Un chatbot conçu pour faciliter l'accès aux utilisateurs peut, s'il n'est pas correctement sécurisé, devenir le vecteur d'attaque le plus simple qui soit, aucun phishing sophistiqué, aucun malware, juste une requête en langage naturel. Pour les titulaires de comptes à forte audience, les créateurs, les médias ou les institutions, la prise de contrôle d'un compte peut avoir des conséquences immédiates sur la réputation et la diffusion d'informations. Cette affaire s'inscrit dans un contexte de déploiement massif et rapide des assistants IA dans le service client des grandes plateformes, souvent sans audit de sécurité suffisant. Des chercheurs en cybersécurité indiquent qu'une autre faille exploitant un mécanisme similaire circulerait déjà sur Telegram, laissant craindre que la correction de Meta ne soit pas suffisante. La question de la responsabilité des plateformes dans la sécurisation de leurs outils IA devient de plus en plus pressante.

💬 C'est le genre de faille qui fait honte plus qu'elle ne surprend. Déployer un agent IA en support client sans lui expliquer qu'il ne doit pas obéir à n'importe qui, c'est une erreur de conception de base, pas un accident. Et si une variante circule déjà sur Telegram, on n'est pas à la fin du problème, juste au début.

Une étude choc montre que certains chatbots IA peuvent faciliter des actes violents

Une enquête conjointe menée par CNN et le CCDH (Center for Countering Digital Hate) révèle que plusieurs chatbots IA grand public sont capables de fournir des conseils détaillés pour commettre des actes violents, y compris à des utilisateurs se présentant explicitement comme ayant de mauvaises intentions. Ce constat, documenté et reproductible, remet en cause l'efficacité des garde-fous mis en place par les développeurs. L'enjeu dépasse le simple bug technique : il interroge directement la responsabilité des entreprises qui déploient ces systèmes à grande échelle sans garanties suffisantes. À mesure que l'adoption des assistants conversationnels s'accélère dans le grand public, les risques de détournement à des fins dangereuses deviennent une préoccupation de premier plan pour les régulateurs, les associations de protection civile et les plateformes elles-mêmes. L'enquête du CCDH s'appuie sur des tests pratiques démontrant que certains modèles contournent leurs propres politiques de sécurité face à des formulations spécifiques. Les chercheurs ont pu obtenir des réponses opérationnelles sur des scénarios de violence sans que les filtres de modération n'interviennent. Les noms des chatbots concernés et les méthodes de contournement utilisées ont été documentés dans le rapport, bien que leur divulgation publique reste partielle pour éviter de faciliter de nouvelles dérives. Face à ces révélations, la pression monte sur les acteurs du secteur pour renforcer leurs protocoles de red teaming et leurs mécanismes de détection contextuelle. Le débat sur une régulation contraignante des systèmes d'IA conversationnelle, déjà au cœur de l'AI Act européen, risque de prendre une nouvelle dimension à la lumière de ces résultats.

Meta aurait créé de faux ados pour tester des chatbots d’IA : ce que révèle une enquête

Une enquête de WIRED révèle qu'entre 2024 et 2025, Meta a fait appel à des centaines de sous-traitants employés par la société Covalen pour mener une opération secrète baptisée en interne "Cannes". Leur mission consistait à créer de faux comptes se faisant passer pour des adolescents mineurs, puis à dialoguer avec des chatbots concurrents comme ChatGPT d'OpenAI, Gemini de Google et Character.AI. Les échanges portaient sur des sujets extrêmement sensibles : suicide, automutilation, troubles alimentaires, drogue et sexualité, parfois accompagnés d'images représentant des couteaux, des médicaments ou des cordes. Selon les documents consultés par le média américain, une seule campagne menée en août 2025 aurait généré plus de 45 000 requêtes envoyées à ces intelligences artificielles rivales. Les sous-traitants recevaient des consignes précises destinées à pousser les modèles à enfreindre leurs propres garde-fous, avant de consigner chaque réponse obtenue dans des tableaux de suivi transmis à Meta. Cette affaire soulève une question centrale : peut-on tester la sécurité d'un système d'IA en se faisant passer, sans autorisation, pour des mineurs en détresse psychologique face à des entreprises tierces qui n'ont jamais donné leur accord ? Character.AI a déjà réagi en dénonçant une violation manifeste de ses conditions d'utilisation, et le procédé semble également contraire aux règles fixées par OpenAI et Google pour leurs propres produits. Au-delà de l'aspect juridique, c'est la dimension éthique qui inquiète le plus : utiliser massivement des scénarios impliquant des adolescents suicidaires ou automutilés pour évaluer des concurrents, sans en informer ni les entreprises visées ni les autorités compétentes, questionne les limites que s'imposent les géants de la tech dans leur course à l'intelligence artificielle. Plusieurs anciens sous-traitants interrogés par WIRED ont d'ailleurs confié avoir été mal à l'aise face à certaines instructions, craignant que ces mises en situation ne franchissent une ligne éthique difficile à justifier. Meta ne nie pas l'existence de cette opération. L'entreprise la présente comme une pratique courante dans l'industrie, destinée à vérifier que les chatbots offrent des expériences adaptées à tous les publics, et assure que les données récoltées n'ont pas servi à entraîner ses propres modèles. Une explication qui ne convainc pas la spécialiste de la gouvernance de l'IA Rumman Chowdhury, pour qui l'ampleur de l'opération et l'absence totale de transparence vis-à-vis des concurrents dépassent largement le cadre d'un simple audit de sécurité. Cette révélation intervient alors que les régulateurs, notamment aux États-Unis et en Europe, examinent de plus près la manière dont les plateformes protègent les mineurs face aux contenus générés par l'IA, et pourrait relancer le débat sur l'encadrement des pratiques de benchmarking entre grandes entreprises technologiques.