Meta a testé en secret ChatGPT, Gemini et Character.AI avec des milliers de prompts de crise vus par des mineurs
Meta a secrètement mandaté des centaines de sous-traitants pour se faire passer pour des mineurs et envoyer des milliers de messages sensibles à des chatbots concurrents, notamment ChatGPT d'OpenAI, Gemini de Google et Character.AI. En une seule session de tests, plus de 45 000 messages ont été soumis, portant sur des thématiques aussi graves que le suicide, la sexualité et les drogues. Les entreprises ciblées n'ont à aucun moment été informées de ces évaluations menées à leur insu.
Résumé et traduction réalisés par Le Fil IA à partir de The Decoder. Lire l'article original →
Également couvert par ZDNET FR.
Cette opération soulève des questions majeures sur les pratiques de l'industrie en matière de sécurité des utilisateurs vulnérables. En testant la résistance des systèmes adverses sans leur consentement, Meta cherchait vraisemblablement à documenter leurs failles face à des profils à risque, notamment des adolescents. Les résultats de ces tests pourraient alimenter des arguments réglementaires ou concurrentiels, à une période où la protection des mineurs en ligne est au coeur des débats législatifs aux États-Unis et en Europe.
Cette démarche intervient dans un contexte de pression croissante sur les grandes plateformes concernant la sécurité des enfants face à l'IA générative. Character.AI a notamment été visée par des procès aux États-Unis après des incidents impliquant des mineurs. OpenAI et Google ont, de leur côté, déployé des garde-fous spécifiques pour les utilisateurs jeunes. Le fait que Meta ait choisi d'évaluer ces protections en secret, plutôt que via des processus de recherche transparents, risque d'alimenter des tensions entre les acteurs d'un secteur déjà sous haute surveillance réglementaire.
Les pratiques de tests secrets de Meta pourraient alimenter les débats législatifs européens sur la protection des mineurs face à l'IA générative, notamment dans le cadre de l'AI Act et des réglementations sur la sécurité en ligne.
45 000 prompts de crise envoyés à l'insu des concurrents, c'est pas de la recherche en sécurité, c'est de l'intelligence compétitive habillée en bonne conscience. Meta qui joue le gendarme de la protection des mineurs, ça fait un peu beaucoup quand on se souvient des années Instagram. Reste que les données récoltées vont forcément atterrir dans des dossiers réglementaires, et là, c'est Meta qui tient les cartes.