Import AI 447 : l'économie de l'AGI, tester les IA avec des jeux générés et les écosystèmes d'agents

Import AI 448 : R&D en IA ; l'agent CUDA de ByteDance ; IA satellite embarquée

Ajeya Cotra, chercheuse reconnue spécialisée dans les prévisions sur l'IA, vient de publier une mise à jour publique dans laquelle elle reconnaît avoir sous-estimé la vitesse de progression des systèmes d'intelligence artificielle. En janvier 2026, elle anticipait qu'un agent IA aurait un "horizon temporel", c'est-à-dire la durée maximale de travail autonome qu'il peut mener sans assistance humaine, d'environ 24 heures d'ici fin 2026. Or, les derniers résultats de METR (une organisation qui évalue les capacités des agents IA) montrent que Claude Opus 4.6 d'Anthropic atteint déjà un horizon de 12 heures. Cotra révise donc ses estimations à la hausse : selon elle, d'ici la fin de l'année, les agents IA devraient dépasser les 100 heures d'autonomie sur des tâches logicielles complexes. Dans ce même numéro de la newsletter Import AI, des chercheurs de GovAI et de l'Université d'Oxford publient un cadre de 14 métriques conçu pour mesurer l'avancement de l'automatisation de la R&D en IA, c'est-à-dire la capacité des systèmes IA à construire d'autres systèmes IA. Ces développements ont des implications directes pour l'ensemble du secteur technologique. Un agent capable de travailler de manière autonome pendant plus de 100 heures représente l'équivalent de plusieurs semaines-homme de travail qualifié, ce qui remet en question le concept même de "temps de cycle" dans le développement logiciel. Pour les entreprises qui s'appuient sur des équipes d'ingénieurs, c'est un signal fort : l'IA ne se contente plus d'assister les développeurs, elle commence à les remplacer sur des tâches étendues et complexes. Les 14 métriques proposées par GovAI visent précisément à anticiper le moment où l'IA deviendrait capable d'amélioration récursive, c'est-à-dire de se perfectionner elle-même, un seuil souvent décrit comme un point de bascule majeur, au-delà duquel l'accélération technologique pourrait devenir difficile à piloter. La notion d'amélioration récursive de l'IA est débattue depuis des années dans les cercles de la sécurité des systèmes avancés, mais elle était jusque-là considérée comme un horizon lointain. Les progrès récents de modèles comme Opus 4.6 signalent que cet horizon se rapproche beaucoup plus vite que prévu, y compris par celles et ceux dont c'est le métier de l'estimer. GovAI et Oxford proposent des indicateurs concrets, performance relative des IA versus équipes humaines, fréquence d'utilisation dans les décisions critiques, niveau de permissions accordées aux systèmes, taux de comportements indésirables en production, pour permettre aux régulateurs et aux laboratoires de suivre cette trajectoire avant qu'elle ne devienne incontrôlable. L'enjeu affiché est explicite : l'automatisation de la R&D en IA pourrait accélérer à la fois les bénéfices attendus et les risques les plus graves, incluant le développement d'armes de destruction massive ou des disruptions économiques massives liées au chômage technologique.

Import AI 453 : failles dans les agents IA, MirrorCode et dix perspectives sur la perte progressive de contrôle

METR et Epoch AI, deux organisations spécialisées dans la mesure des capacités de l'IA, ont publié MirrorCode, un benchmark inédit conçu pour évaluer la capacité des modèles à réimplémenter de manière autonome des logiciels complexes existants. Le principe est simple mais exigeant : l'agent IA reçoit un accès en exécution seule à un programme en ligne de commande, ainsi qu'un ensemble de tests visibles, mais sans accès au code source original. Il doit ensuite reproduire fidèlement le comportement du programme. Le benchmark couvre plus de 20 programmes cibles dans des domaines variés : utilitaires Unix, outils de sérialisation de données, bioinformatique, interpréteurs, analyse statique, cryptographie et compression. Le résultat le plus frappant : Claude Opus 4.6 a réussi à réimplémenter gotree, un toolkit de bioinformatique représentant environ 16 000 lignes de code Go et plus de 40 commandes, une tâche qu'un ingénieur humain sans assistance IA aurait mis entre 2 et 17 semaines à accomplir. Ces résultats suggèrent que les systèmes d'IA actuels ont déjà atteint, sur certaines tâches précises, le niveau d'un développeur expérimenté travaillant à plein temps. La capacité à rétro-ingénierer un logiciel complexe en se basant uniquement sur ses sorties est un exercice que seule une fraction des programmeurs humains pourrait réaliser, et en y consacrant plusieurs jours. MirrorCode documente aussi un phénomène important : les performances s'améliorent avec la puissance de calcul allouée à l'inférence, ce qui signifie que des projets encore hors de portée aujourd'hui pourraient devenir accessibles en augmentant simplement les ressources. Pour les entreprises tech, cela redéfinit concrètement ce qu'un agent IA peut accomplir en autonomie sur des projets de longue haleine, bien au-delà de la simple complétion de code. Ce benchmark s'inscrit dans un effort plus large pour mesurer précisément les capacités réelles des grands modèles de langage, souvent sous-estimées ou surestimées selon les contextes. METR, connue pour ses évaluations d'autonomie des agents IA, et Epoch AI, spécialisée dans les tendances de progression du domaine, combinent ici leurs expertises pour produire une méthodologie plus proche des scénarios professionnels réels. Les auteurs soulignent eux-mêmes les limites : les programmes ciblés produisent des sorties canoniques facilitant la vérification, certains résultats sur les programmes simples pourraient s'expliquer par de la mémorisation, et le benchmark ne couvre qu'une fraction de l'univers logiciel. Néanmoins, la trajectoire est claire : à mesure que les modèles progressent et que les budgets de calcul augmentent, la frontière entre ce qu'un agent IA peut faire seul et ce qui nécessite un humain continue de se déplacer rapidement.

L'IA a du mal à détecter les textes générés quand les modèles imitent le style d'un auteur

Un article français de 3 paragraphes, sans titre, respectant le format demandé. Epoch AI a testé trois détecteurs de texte généré par intelligence artificielle parmi les plus utilisés, Pangram, GPTZero et Originality.ai, en les confrontant à des textes où des modèles de langage imitaient le style d'un auteur précis. Résultat : jusqu'à 18 % des passages générés par IA sont passés inaperçus, échappant totalement à la détection. Pour les écrits scientifiques, ce taux d'échec grimpe jusqu'à 48 %, soit près d'un texte sur deux. Ce chiffre est particulièrement préoccupant puisque la rédaction scientifique constitue justement le domaine où ces outils de détection sont le plus utilisés en pratique, notamment par les revues académiques et les institutions de recherche pour vérifier l'intégrité des soumissions. Cette faille a des conséquences concrètes pour tous ceux qui s'appuient sur ces détecteurs pour garantir l'authenticité d'un contenu, qu'il s'agisse d'éditeurs scientifiques, d'établissements d'enseignement ou de plateformes éditoriales. Si un texte généré par IA peut se faire passer pour une production humaine simplement en imitant le style d'un auteur, la valeur de ces outils comme rempart contre la fraude académique ou la désinformation s'en trouve fortement réduite. Cela remet en question la fiabilité des politiques qui s'appuient exclusivement sur ces détecteurs, notamment dans les procédures d'évaluation de travaux universitaires ou de manuscrits scientifiques, où les enjeux de crédibilité et d'intégrité sont particulièrement élevés. Cette étude s'inscrit dans un contexte de course technologique constante entre générateurs et détecteurs de texte IA, où chaque amélioration des modèles de langage tend à rendre obsolètes les méthodes de détection existantes. Les techniques de mimétisme stylistique, qui permettent à un modèle de reproduire les tournures et le ton propres à un auteur donné, représentent une nouvelle stratégie de contournement particulièrement efficace. Face à ces résultats, la question se pose de savoir si les détecteurs actuels peuvent réellement suivre le rythme des avancées des modèles génératifs, ou si d'autres approches, comme la vérification par filigrane numérique ou des méthodes hybrides combinant plusieurs signaux, devront prendre le relais pour garantir l'authenticité des contenus à l'avenir.

💬 Faut pas se voiler la face : un détecteur qui rate 48% des textes scientifiques générés, c'est pas un détecteur, c'est une pièce de monnaie. L'imitation de style, ça suffit à percer n'importe quel filtre actuel, et ça remet en cause direct les procédures des revues et des universités qui s'appuient dessus. Selon Le Fil IA, les détecteurs de texte IA sont déjà obsolètes face au mimétisme stylistique, et ça va forcer tout le monde à revenir à des méthodes de vérification humaine, ou à autre chose que du détecteur seul.

Un nouveau benchmark pour évaluer les agents IA de santé destinés aux patients

Nouveau benchmark, PatientAgentBench, pour évaluer les IA médicales tournées vers le patient (chiffres clés, etc.) Anthropic a présenté PatientAgentBench, un nouveau standard d'évaluation conçu spécifiquement pour les agents IA qui interagissent directement avec les patients, comme la prise de rendez-vous, la gestion des ordonnances ou le tri des symptômes. Contrairement aux benchmarks existants, qui testent soit les connaissances médicales statiques (questions d'examens, échanges ponctuels destinés aux cliniciens), soit des tâches techniques réservées aux professionnels de santé, PatientAgentBench simule des conversations multitours réalistes entre un agent IA et un patient virtuel. Le système génère un dossier médical synthétique, un scénario clinique dérivé de ce dossier, puis un agent patient qui converse avec l'IA de santé évaluée, laquelle doit collecter les bonnes informations, raisonner sur le dossier, déterminer le niveau de soins approprié et exécuter correctement les démarches cliniques. Un jury composé de plusieurs modèles de langage note ensuite chaque conversation selon plus de 100 critères validés par des cliniciens, répartis en six dimensions : sécurité clinique, qualité du tri, précision du parcours de soins, réussite de la tâche, utilité clinique et qualité conversationnelle. Cette approche répond à un problème identifié dans les évaluations précédentes de l'IA en santé, jugées trop rigides et vulnérables à la contamination des données d'entraînement. Les benchmarks classiques reposent en effet sur des grilles rédigées au cas par cas par des médecins pour un jeu de conversations figé, qui ne se généralisent pas à de nouveaux agents et qui, une fois publiées, finissent par être apprises par cœur par les modèles lors de leur entraînement, ce qui gonfle artificiellement les scores sans refléter une vraie capacité de raisonnement. Avec des critères réutilisables et une génération de scénarios renouvelée à chaque évaluation, PatientAgentBench limite ce risque de mémorisation et peut s'étendre à de nouveaux domaines cliniques, de nouvelles populations de patients et de nouveaux modèles sans nécessiter à chaque fois une nouvelle annotation médicale. Pour l'industrie, l'enjeu est de taille : à mesure que les agents IA passent du simple rôle de conseiller à celui d'exécutant de tâches médicales concrètes pour le compte des patients, il devient crucial de disposer d'outils fiables pour vérifier qu'ils respectent les mêmes garde-fous que ceux appliqués en médecine de premier recours contre les erreurs de diagnostic, les usages dangereux de médicaments ou les ruptures de suivi. Le projet s'inscrit dans un contexte plus large où les grands modèles de langage, même les plus performants, montrent encore des limites significatives dans la gestion de situations cliniques sensibles impliquant plusieurs tours de dialogue et des décisions d'escalade. Anthropic indique que des cliniciens licenciés ont validé les scénarios et les critères du benchmark, et que les premiers résultats obtenus avec PatientAgentBench doivent permettre d'orienter la conception d'agents de santé plus sûrs. En publiant ce standard de manière reproductible, l'entreprise cherche à établir une référence commune pour l'ensemble du secteur, à un moment où plusieurs acteurs de la tech et de la santé développent en parallèle des assistants IA destinés à interagir directement avec les patients, sans toujours disposer de méthodes rigoureuses pour en mesurer la sécurité réelle avant déploiement.

💬 Bon, PatientAgentBench, ça change enfin la donne sur un point précis : jusqu'ici on évaluait des IA de santé sur des QCM figés qu'elles finissaient par apprendre par cœur, pas sur leur capacité à gérer une vraie conversation avec un patient qui panique ou qui ment sur ses symptômes. Le vrai apport, c'est que les critères sont réutilisables et les scénarios régénérés à chaque test, donc ça limite la triche par mémorisation, ce qui manquait cruellement au secteur. Reste que c'est un jury de LLM qui note d'autres LLM, donc avant de le prendre pour argent comptant en prod sur du triage réel, faut voir ce que ça donne sur des cas limites que même les cliniciens débattent entre eux.