Hugging Face héberge des centaines d’outils de génération de contenu sexuel non consenti

Hugging Face, plate-forme américaine qui héberge des millions de modèles d'intelligence artificielle et des milliers de jeux de données en open source, n'a mis en place aucun dispositif concret de modération contre les outils de génération de contenu sexuel non consenti, selon une enquête publiée par l'ONG AI Forensics et menée par les chercheurs Paul Bouchaud et Silvia Semenzin. Pour documenter l'ampleur du problème, les deux chercheurs ont construit un pot de miel destiné à observer les requêtes réellement soumises par les utilisateurs de la plateforme. Au terme d'une semaine de collecte, ils constatent que 73 % des demandes concernaient du contenu à caractère sexuel, et que 60 % relevaient a priori de contenu non consensuel, c'est-à-dire visant des personnes réelles sans leur accord. L'entreprise ne modère ni les outils dits de « nudification », ni les modèles permettant de produire des images ou vidéos à caractère pédocriminel, ni même les requêtes formulées par les utilisateurs pour y parvenir. Cette découverte fait écho à une alerte lancée mi-mars par l'Internet Watch Foundation, qui signalait déjà une multiplication de ce type de contenus générés par IA sur l'ensemble du web.

Les conséquences dépassent la seule question morale. Comme l'expliquait l'ex-commandante de police Véronique Béchu, ce type de contenu, souvent extrêmement difficile à distinguer d'images pédopornographiques réelles, mobilise du temps précieux pour des équipes policières déjà sous tension, chargées d'identifier et de mettre à l'abri de véritables victimes de violences. Chaque signalement à traiter, chaque image à authentifier, retarde d'autant les enquêtes portant sur des cas avérés. Plus largement, la multiplication de ces contenus non consentis, qu'ils visent des enfants ou des adultes, participe à une banalisation des violences sexuelles représentées, en rendant ces images plus accessibles et plus faciles à produire, y compris pour des utilisateurs sans compétences techniques particulières, via une plateforme grand public et largement fréquentée par la communauté de l'IA.

Ce constat intervient alors que l'Union européenne finalise plusieurs textes encadrant l'intelligence artificielle et le numérique. L'AI Act inclut désormais une interdiction explicite des systèmes dits de « nudification » lorsqu'ils sont utilisés sans le consentement des personnes représentées. Hugging Face, en tant qu'hébergeur central de l'écosystème open source de l'IA, se retrouve ainsi en porte-à-faux avec l'esprit de cette réglementation, faute de garde-fous techniques ou de politique de modération proactive. Les révélations d'AI Forensics posent la question de la responsabilité des plateformes qui hébergent des modèles tiers sans en contrôler les usages, et pourraient accélérer la pression réglementaire et publique pour que des mesures de filtrage soient rapidement déployées.