Garder les portes du savoir
Une récente séance de défilement sur les réseaux sociaux a poussé l'éditeur d'IEEE Spectrum à s'interroger sur la confiance : environ la moitié de son fil était saturée de contenus générés par IA, que les utilisateurs avertis repèrent et dénoncent, au grand embarras de ceux qui les relaient sans le savoir. Six ans après l'époque de GPT-3, où le mot « hallucination » est entré dans le vocabulaire pour désigner les réponses plausibles mais fausses des chatbots, l'auteur constate qu'il ne peut toujours pas se fier aux réponses de Claude ou de Gemini, même s'ils lui rendent service. La maxime reste « faire confiance, mais vérifier ». Appliquée à l'échelle de la littérature scientifique, elle donne la mesure du défi des éditeurs. Dans « I Used AI to Fake a Scientific Paper », le rédacteur indépendant et docteur en mathématiques appliquées Benjamin Skuse a tenté de faire passer des articles générés par IA à travers les défenses de l'IEEE. Pour l'une de ses expériences, il a simplement lancé « exécuter l'expérience » puis « écrire l'article », sans retoucher quoi que ce soit avant de soumettre le texte.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de IEEE Spectrum AI. Lire l'article original →
Le résultat est instructif. Selon Eliza Strickland, rédactrice en charge des dossiers et de l'IA, Skuse a été surpris de la facilité avec laquelle on obtient un papier à peu près plausible et à peu près scientifique. Les relectures humaines de l'IEEE, combinées aux programmes de contrôle de l'intégrité de la recherche, tiennent pour l'instant le rythme face aux personnes qui utilisent des outils gratuits, dans un jeu du chat et de la souris. Mais les modèles de langage les plus avancés ne commettent plus les erreurs grossières des versions gratuites. Les éditeurs se retrouvent ainsi dans une course aux armements entre des contenus de plus en plus crédibles et des systèmes de détection censés les repérer, ce qui menace l'intégrité du corpus scientifique et la confiance placée dans les institutions qui le gardent.
Les éditeurs scientifiques ne sont pas les seuls à tenter de contenir cette marée. Wikipédia, dépositaire mondial du savoir produit par des humains, mène le même combat avec moins de monde et moins d'outils. Pour la rubrique « Five Questions » du mois, Strickland a interrogé Ellia Lebleu, membre fondatrice du WikiProject AI Cleanup, une initiative bénévole qui détecte et supprime les contenus générés par IA sur la plateforme. L'encyclopédie veut conserver sa réputation de référentiel d'informations humaines, mais, résume Strickland, personne ne sait combien de temps elle y parviendra. Si l'on ne peut plus présumer que le dossier scientifique est fiable ni que les faits élémentaires sont exacts, la compréhension collective du réel se dilue dans l'incertitude, un terrain favorable aux manipulateurs qui prospèrent sans réalité partagée. Il se pourrait même, dans un monde où l'IA fait la science et rédige les articles, que la confiance humaine devienne secondaire : Strickland évoque des IA qui écriraient pour d'autres IA, laissant les humains hors de la boucle.
Pas d'impact direct sur la France/UE