Hugging Face héberge des centaines d’outils de génération de contenu sexuel non consenti
Hugging Face, plate-forme américaine qui héberge des millions de modèles d'intelligence artificielle et des milliers de jeux de données en open source, n'a mis en place aucun dispositif concret de modération contre les outils de génération de contenu sexuel non consenti, selon une enquête publiée par l'ONG AI Forensics et menée par les chercheurs Paul Bouchaud et Silvia Semenzin. Pour documenter l'ampleur du problème, les deux chercheurs ont construit un pot de miel destiné à observer les requêtes réellement soumises par les utilisateurs de la plateforme. Au terme d'une semaine de collecte, ils constatent que 73 % des demandes concernaient du contenu à caractère sexuel, et que 60 % relevaient a priori de contenu non consensuel, c'est-à-dire visant des personnes réelles sans leur accord. L'entreprise ne modère ni les outils dits de « nudification », ni les modèles permettant de produire des images ou vidéos à caractère pédocriminel, ni même les requêtes formulées par les utilisateurs pour y parvenir. Cette découverte fait écho à une alerte lancée mi-mars par l'Internet Watch Foundation, qui signalait déjà une multiplication de ce type de contenus générés par IA sur l'ensemble du web.
Résumé et traduction réalisés par Le Fil IA à partir de Next INpact. Lire l'article original →
Les conséquences dépassent la seule question morale. Comme l'expliquait l'ex-commandante de police Véronique Béchu, ce type de contenu, souvent extrêmement difficile à distinguer d'images pédopornographiques réelles, mobilise du temps précieux pour des équipes policières déjà sous tension, chargées d'identifier et de mettre à l'abri de véritables victimes de violences. Chaque signalement à traiter, chaque image à authentifier, retarde d'autant les enquêtes portant sur des cas avérés. Plus largement, la multiplication de ces contenus non consentis, qu'ils visent des enfants ou des adultes, participe à une banalisation des violences sexuelles représentées, en rendant ces images plus accessibles et plus faciles à produire, y compris pour des utilisateurs sans compétences techniques particulières, via une plateforme grand public et largement fréquentée par la communauté de l'IA.
Ce constat intervient alors que l'Union européenne finalise plusieurs textes encadrant l'intelligence artificielle et le numérique. L'AI Act inclut désormais une interdiction explicite des systèmes dits de « nudification » lorsqu'ils sont utilisés sans le consentement des personnes représentées. Hugging Face, en tant qu'hébergeur central de l'écosystème open source de l'IA, se retrouve ainsi en porte-à-faux avec l'esprit de cette réglementation, faute de garde-fous techniques ou de politique de modération proactive. Les révélations d'AI Forensics posent la question de la responsabilité des plateformes qui hébergent des modèles tiers sans en contrôler les usages, et pourraient accélérer la pression réglementaire et publique pour que des mesures de filtrage soient rapidement déployées.
L'AI Act interdit explicitement les systèmes de « nudification » non consentis, ce qui met Hugging Face en porte-à-faux avec la réglementation européenne et pourrait accélérer la pression pour un filtrage obligatoire des modèles hébergés.
Bon, encore un angle mort classique de l'open source : Hugging Face héberge tout et modère rien, comme si l'hébergement était neutre par nature. Ça ne l'est pas, jamais. 73% des requêtes sur ce pot de miel étaient à caractère sexuel, 60% non consenties, et l'AI Act interdit déjà la nudification sans accord : la plateforme est en infraction de fait, pas juste en retard de com. Elle a construit son succès sur le laisser-faire total, mais là ça touche des victimes réelles et du temps de flics en moins pour des vraies enquêtes, faudra un filtrage sérieux avant que le régulateur ne le fasse à sa place.