Hugging Face facilite le déshabillage d'images de femmes et d'enfants par IA

Hugging Face, l'une des principales plateformes d'hébergement de modèles d'intelligence artificielle open-source, sert à produire facilement des deepfakes sexualisés non consentis de femmes et d'enfants, selon un rapport publié par l'organisation européenne à but non lucratif AI Forensics. L'enquête a testé les neuf modèles d'édition d'images les plus utilisés sur la plateforme et a découvert que sept d'entre eux répondaient sans résistance à des requêtes visant à déshabiller des personnes sur des photos, à partir de simples instructions textuelles. Contrairement aux modèles grand public comme Gemini de Google ou ChatGPT d'OpenAI, qui bloquent systématiquement ce type de demandes grâce à des garde-fous intégrés, les modèles hébergés sur Hugging Face testés ne disposaient d'aucune protection comparable.

Cette absence de modération pose un problème majeur de sécurité numérique, notamment pour les mineurs, puisque certains des modèles concernés se sont révélés capables de générer ce type de contenu à partir d'images d'enfants. Le phénomène des deepfakes non consensuels touche déjà largement les femmes, victimes de harcèlement et d'atteintes à leur image via des outils de manipulation photo détournés de leur usage prévu, mais l'ouverture et l'accessibilité des modèles open-source amplifient ce risque en supprimant les barrières techniques que les grandes entreprises tech ont mises en place. Pour l'industrie de l'IA, cela relance le débat sur la responsabilité des plateformes d'hébergement face aux usages malveillants des outils qu'elles diffusent librement.

Hugging Face s'est positionnée depuis sa création comme un carrefour central pour la communauté de l'IA open-source, hébergeant des dizaines de milliers de modèles sans toujours exercer de contrôle strict sur leurs capacités ni sur les usages qui en sont faits. Cette philosophie d'ouverture, saluée pour démocratiser l'accès à l'IA, se heurte régulièrement à des critiques concernant les dérives possibles, notamment sur les contenus sexuels et la protection des mineurs. Cette affaire pourrait accélérer les pressions réglementaires, en Europe notamment, pour imposer aux plateformes d'hébergement de modèles des obligations de modération renforcées, similaires à celles déjà exigées des réseaux sociaux et des grands fournisseurs d'IA commerciaux.