Building an AI Text Detector From Scratch
Substack a récemment intégré un détecteur d'IA directement dans son interface, une fonctionnalité qui évalue la probabilité qu'un texte publié ait été généré par une intelligence artificielle. En réaction, un développeur a publié un tutoriel détaillé expliquant comment construire, de zéro, un détecteur de texte IA fonctionnel, à but pédagogique. Le projet repose sur l'affinage d'un modèle DistilBERT, un classifieur léger déjà utilisé dans un précédent article de l'auteur consacré au fine-tuning de grands modèles de langage. L'outil produit un score de 0 à 100 représentant la probabilité estimée qu'un texte ait été généré par une IA, calculé pour un texte entier comme pour des segments individuels, via une interface web locale et une API utilisable par des humains comme par des agents. La méthode s'inspire des modèles de Pangram, l'entreprise qui serait à l'origine du système de détection employé par Substack. L'auteur avait déjà traité ce sujet en 2023 dans un article recensant les différentes approches de détection de texte IA, des classifieurs supervisés aux tests de perturbation, en passant par les mesures de perplexité et le tatouage numérique.
Résumé et traduction réalisés par Le Fil IA à partir de Ahead of AI. Lire l'article original →
Ce projet met en lumière un enjeu concret pour l'écosystème du contenu numérique. La détection de texte IA sert à filtrer les contenus indésirables, mais aussi à protéger des auteurs humains dont l'écriture, une fois relue par un correcteur grammatical ou un assistant comme ChatGPT, peut être injustement signalée comme artificielle. Le projet va plus loin en utilisant le détecteur comme fonction de récompense pour entraîner un petit modèle de langage à produire du texte capable de contourner la détection, une méthode habituellement réservée aux modèles de raisonnement entraînés sur des tâches de mathématiques ou de code. Pour les plateformes éditoriales, les créateurs de contenu et les entreprises de modération, ces travaux soulignent la fragilité des systèmes de détection actuels et le risque persistant de faux positifs, des textes réellement écrits par des humains mais signalés à tort comme générés par une IA.
L'auteur décrit ce domaine comme un jeu du chat et de la souris. Chaque détecteur apprend à repérer des motifs stylistiques typiques d'un modèle donné, jusqu'à ce qu'un nouveau modèle, volontairement ou non, cesse de reproduire ces motifs et échappe à la détection, ce qui oblige les détecteurs à être régulièrement mis à jour. Ce cycle explique l'essor d'entreprises spécialisées comme Pangram, dont les techniques exactes restent largement propriétaires, ainsi que la multiplication d'approches concurrentes fondées sur l'apprentissage supervisé, l'analyse statistique du texte ou des signatures numériques invisibles. Le projet documenté ici, entièrement ouvert et déployable localement, s'inscrit dans une tendance plus large de démocratisation des outils d'IA appliquée, où de petits modèles permettent d'expérimenter l'évaluation, l'entraînement et le déploiement de bout en bout sans infrastructure lourde. À mesure que les plateformes généralisent ces détecteurs, leur fiabilité et les moyens de les contourner devraient rester un sujet de tension entre créateurs de contenu, fournisseurs de modèles et plateformes de publication.
Pas d'impact direct sur la France/UE