On a soumis plus de 5 000 textes à 75 détecteurs d’IA gratuits : un constat d’échec
Le site Next a soumis plus de 5 000 textes à 75 détecteurs d'IA gratuits pour mesurer leur fiabilité. Le corpus compte 4 000 articles de la rédaction, écrits à 100 % par des humains, et plus de 1 000 textes générés par des modèles d'Anthropic, d'OpenAI, de Google, de Mistral et de Qwen. Pour chaque modèle, l'équipe a produit entre 150 et 200 articles. Environ la moitié sont des réécritures d'un article humain, l'autre moitié a été inventée à partir d'un simple titre et d'un chapô. Les outils testés se répartissent en cinq classifieurs autonomes (AI Text Detector, RoBERTa AI Text Detection de fakespot, ChatGPT Detector RoBERTa, RoBERTa OpenAI Detector et RADAR Vicuna-7B) et environ 70 combinaisons de méthodes statistiques dites zero-shot. Ces dernières, comme Binoculars, Fast-DetectGPT, la log-vraisemblance, GLTR ou l'entropie, s'appuient sur sept modèles de langage (Qwen, Llama, Gemma, Mistral…) pour estimer à quel point un texte est prévisible. Tout a tourné sur un serveur privé virtuel équipé d'une carte NVIDIA A10, pour près de 10 heures de calcul. Le titre de l'enquête parle d'un « constat d'échec » pour ces outils gratuits.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de Next INpact. Lire l'article original →
L'enjeu est concret pour les rédactions, les éditeurs, les écoles et les employeurs, qui sont de plus en plus tentés de s'en remettre à ces outils pour trancher si un texte vient d'une machine. Un détecteur peut se tromper dans les deux sens. Il peut laisser passer un texte généré, ou accuser à tort un auteur humain. La seconde erreur est la plus lourde de conséquences, car elle peut ruiner une réputation ou provoquer une sanction injustifiée. L'étude insiste sur ce compromis entre vraies et fausses détections. Le réglage du seuil de décision détermine le nombre de faux positifs que l'on accepte pour attraper davantage de textes artificiels, et il n'est jamais évident de le placer au bon endroit. Les indicateurs TPR (taux de vrais positifs), FPR (taux de faux positifs) et AUROC servent justement à comparer les outils. L'un des objectifs est de savoir s'ils font mieux qu'un simple pile ou face.
Le sujet a pris de l'ampleur en France avec l'affaire du livre de Thélyson Orélien, qui a relancé le débat sur la détection de textes générés par IA. Des outils commerciaux comme Pangram profitent de ce climat de doute dans le monde littéraire. Next se pose ici en observateur crédible, puisque sa rédaction affirme n'utiliser aucune IA générative, ni en tout ni en partie, et prévoit de publier prochainement une charte détaillée. Ce corpus d'articles certifiés humains est donc un terrain de test rare. Il a toutefois une limite que l'équipe reconnaît : il s'agit surtout de textes techniques, avec le ton et l'angle propres au média. Cette première partie du dossier pose les bases de la méthode, et les résultats détaillés doivent suivre dans les volets suivants.
Le test, mené par le média français Next sur des textes en français, interroge la fiabilité des détecteurs d'IA utilisés par les rédactions, écoles et employeurs, dans un contexte français marqué par l'affaire du livre de Thélyson Orélien.