Pangram sait-il vraiment détecter les textes IA ? Notre test sur plus de 1 000 articles
Pangram, un détecteur commercial de textes générés par IA dont on parle beaucoup, vient d'être soumis à un test à grande échelle par la rédaction d'un média technique français. Au total, 460 articles rédigés à 100 % par des humains, tirés de la base de données du média, lui ont été envoyés. Pangram en a classé 450 comme entièrement humains et 9 comme principalement humains, avec quelques passages signalés comme GenAI. Un seul a été étiqueté à tort comme surtout écrit par une IA, soit 459 textes sur 460 correctement identifiés. Une trentaine de ces textes n'avaient jamais été publiés en ligne, ce qui empêchait le détecteur d'en retrouver la moindre trace. Côté IA, 350 textes différents ont été générés, mais 570 articles ont été soumis au total, certains existant en plusieurs variantes pour comprendre le fonctionnement de l'outil. Le taux de réussite atteint environ 95 % sur ce corpus.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de Next INpact. Lire l'article original →
L'enjeu est concret pour les rédactions, les enseignants, les éditeurs et les recruteurs, qui cherchent des moyens fiables de distinguer un texte humain d'un contenu généré. Le principal défaut des détecteurs est le faux positif, car accuser à tort un auteur d'avoir utilisé une IA peut nuire à sa réputation ou à sa carrière. Un seul faux positif sur 460 textes est donc un résultat encourageant. Il faut toutefois rester prudent : le corpus se compose uniquement d'articles techniques, et les performances pourraient différer sur d'autres genres, comme la fiction, le témoignage ou les textes courts. Les 95 % de détection sur les textes IA laissent aussi environ un texte généré sur vingt passer entre les mailles, ce qui compte si l'on cherche à repérer des contenus produits en masse.
Ce test s'inscrit dans une série menée par la même rédaction sur les détecteurs d'IA. Elle avait déjà soumis plus de 5 000 textes à 75 détecteurs gratuits, pour un constat d'échec, puis testé des modèles à poids ouverts, avant de s'intéresser à Pangram, solution payante. La démarche part d'un principe résumé ainsi : on peut tromper un détecteur mille fois, mais pas mille détecteurs une seule fois. Les variantes de textes servent à sonder les mécanismes de l'outil et ses éventuelles failles, notamment face à des contenus retravaillés pour échapper à la détection. Cette course entre générateurs et détecteurs reste ouverte, chaque progrès des modèles de langage rendant la tâche plus difficile. La suite de l'analyse, réservée aux abonnés, doit détailler ces mécanismes.
Une rédaction technique française teste un détecteur de textes IA utile aux médias, enseignants et recruteurs francophones, avec un seul faux positif sur 460 articles humains.