Aller au contenu principal
Sécurité · Actu ·

OpenAI lance un nouveau classificateur d'images et des avertissements dans ChatGPT pour lutter contre les contenus pédocriminels

OpenAI a annoncé une série de nouveaux outils destinés à lutter contre les contenus pédocriminels (CSAM), au moment où les inquiétudes sur la sécurité des outils d'IA se multiplient. Le dispositif comprend un nouveau classificateur d'images capable de détecter ces contenus, y compris ceux générés par IA, des avertissements et des blocages temporaires dans ChatGPT, un guide destiné aux développeurs et un ensemble d'outils pour les forces de l'ordre. Développé avec le National Center for Missing and Exploited Children (NCMEC), le classificateur repère des signes visuels d'abus dans des images jamais vues auparavant et attribue un score pour orienter les modérateurs. Il est proposé gratuitement via l'API à une sélection d'entreprises, en partenariat avec Tech Coalition et ROOST. Lors des premiers tests, il a signalé 48 % d'images en moins pour un nombre identique d'images abusives détectées, et les images repérées sont deux fois plus susceptibles d'être réellement abusives. Dans ChatGPT, un utilisateur qui tente de produire ou d'obtenir du contenu sexualisant des enfants verra une alerte, sera orienté vers un soutien spécialisé et son compte sera suspendu 24 heures, avec un risque de suppression définitive en cas de récidive.

2 min de lecture

Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie

Source

Résumé et traduction réalisés par Le Fil IA à partir de TechCrunch AI. Lire l'article original →

L'enjeu est concret pour les équipes de modération, dont la charge de travail diminue sensiblement si le classificateur tient ses promesses : moins de faux positifs signifie moins d'expositions à des images traumatisantes et un traitement plus rapide des cas réels. Pour les développeurs qui s'appuient sur les outils d'OpenAI, le nouveau guide explique comment prévenir, détecter et signaler ces contenus. Lors des premiers essais, il a aidé plusieurs d'entre eux à adopter des outils de protection de l'enfance et à s'enregistrer auprès du NCMEC pour effectuer des signalements. Les enquêteurs, eux, obtiennent des plugins dédiés, des outils d'investigation et d'analyse de données complexes, avec un accès géré par des administrateurs de programme, ainsi qu'une formation et un guide pratique d'utilisation de l'IA. L'approche de dissuasion de ChatGPT repose sur des messages conçus avec Protect Children, la Lucy Faithfull Foundation et Joel Scanlan, de l'Université de Tasmanie, qui a évalué de manière indépendante un essai de ces messages.

Ces annonces interviennent dans un climat de pression croissante sur OpenAI, visée par plusieurs poursuites qui accusent sa technologie d'avoir nui à des utilisateurs, en particulier des mineurs. L'organisation Common Sense Media a classé ses produits comme présentant un « risque inacceptable » pour les adolescents, et d'autres chatbots, notamment Grok, ont servi à produire des images sexualisées non consenties, y compris d'enfants. Au cours des douze derniers mois, l'entreprise a déjà publié un plan de sécurité, mis à jour ses règles de contenu pour interdire les productions inappropriées, réajusté ses modèles pour limiter les sorties nocives et lancé une version de ChatGPT pensée pour les adolescents. La suite dépendra de l'efficacité mesurée de ces dispositifs à plus grande échelle et de l'ouverture éventuelle du classificateur à davantage d'acteurs.

À lire ensuite

01Cybersécurité : IBM et OpenAI lancent une IA avancée pour protéger les entreprisesLe Big DataSécurité 02OpenAI prépare un « bouton d’arrêt » pour garder le contrôle de ses agents IALe Big DataSécurité 03OpenAI publie un cadre de divulgation des défauts d'alignement avec 3 niveaux de contrôle et 6 rapports d'incidents issus de l'entraînement par RLMarkTechPostSécurité 
Dossier · OpenAISuivi en continu par Le Fil IASuivre ce sujet →

Le brief du matin

L'essentiel de l'IA chaque jour. Gratuit, désinscription immédiate à tout moment.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, l'essentiel de l'IA · désinscription à tout moment

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.