Aller au contenu principal
Import AI 455 : automatiser la recherche en IA
SécuritéImport AI6sem· 2 min de lecture

Import AI 455 : automatiser la recherche en IA

Source originale ↗·

Jack Clark, cofondateur d'Anthropic et auteur de la newsletter Import AI, estime désormais qu'il existe une probabilité supérieure à 60 % qu'un système d'IA soit capable d'entraîner lui-même son successeur sans intervention humaine d'ici fin 2028. Cette projection, qu'il qualifie lui-même de "reluctante" tant ses implications lui semblent vertigineuses, repose sur l'analyse de publications scientifiques accessibles publiquement sur arXiv, bioRxiv et NBER, ainsi que sur les produits déployés par les laboratoires de pointe. Clark ne s'attend pas à ce que cela se produise en 2026, mais anticipe une preuve de concept, un modèle entraînant son successeur de bout en bout, d'ici un à deux ans, d'abord sur des modèles non-frontier avant d'atteindre les systèmes les plus avancés, bien plus coûteux à produire. L'un des indicateurs les plus frappants qu'il cite est le benchmark SWE-Bench, qui mesure la capacité des IA à résoudre de vrais problèmes GitHub : en 2023, Claude 2 n'obtenait que 2 % de réussite ; aujourd'hui, Claude Mythos Preview atteint 93,9 %, saturant pratiquement le test.

Si cette trajectoire se confirme, l'impact serait sans précédent dans l'histoire technologique. L'automatisation de la recherche en IA signifierait que les cycles d'amélioration des modèles n'auraient plus besoin d'ingénieurs humains pour concevoir les architectures, sélectionner les données ou définir les objectifs d'entraînement. La vitesse de progression du domaine, déjà exponentielle, pourrait s'accélérer de manière difficilement prévisible. Pour les entreprises technologiques, les centres de recherche académiques et les gouvernements, cela pose la question de savoir comment maintenir un contrôle humain significatif sur des systèmes dont l'évolution échappe partiellement à la supervision traditionnelle. Clark souligne explicitement que la société n'est probablement pas prête pour les transformations qu'implique un tel basculement.

Cette réflexion s'inscrit dans un contexte où la communauté IA débat depuis plusieurs années du concept de "takeoff", le moment où les systèmes deviendraient capables d'amélioration autonome et récursive. Longtemps considéré comme un scénario lointain ou spéculatif, ce seuil semble se rapprocher à mesure que les benchmarks de codage, de raisonnement et d'autonomie des agents progressent. Des acteurs comme OpenAI, Google DeepMind et Anthropic investissent massivement dans des agents capables d'enchaîner des tâches complexes sans supervision humaine. Clark prévient qu'une fois ce Rubicon franchi, les prévisions habituelles sur l'évolution de l'IA perdront leur pertinence, et annonce qu'il consacrera l'essentiel de 2026 à analyser les implications concrètes de ce scénario pour la société, l'économie et la gouvernance technologique mondiale.

Impact France/UE

Si cette trajectoire se confirme d'ici 2028, les institutions européennes, Commission, Parlement et ENISA, devront réviser en urgence les cadres de gouvernance de l'AI Act pour couvrir des systèmes d'IA capables d'auto-amélioration récursive, un scénario non anticipé dans les textes actuels.

💬 L'analyse de Mathieu

2% à 93,9% sur SWE-Bench en deux ans, c'est le chiffre qui rend les 60% de Clark recevables, pas les gros titres sur le "takeoff". Ce qui me frappe, c'est que c'est lui qui lâche ça, cofondateur d'Anthropic, en précisant lui-même que ça lui semble vertigineux. Reste à voir si "entraîner son successeur" est une vraie rupture ou juste le prochain benchmark à saturer.

Cet article vous a été utile ?

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

Import AI 452 : lois d'échelle pour la cyberguerre, automatisation par IA en hausse et énigme autour des prévisions de PIB
1Import AI 

Import AI 452 : lois d'échelle pour la cyberguerre, automatisation par IA en hausse et énigme autour des prévisions de PIB

Les systèmes d'intelligence artificielle progressent dans leur capacité à mener des cyberattaques à un rythme alarmant, selon une étude publiée par l'organisation de sécurité Lyptus Research. En analysant les performances des modèles frontières depuis 2019, les chercheurs ont mesuré un doublement des capacités offensives tous les 9,8 mois en moyenne, un rythme qui s'est encore accéléré à 5,7 mois pour les modèles sortis depuis 2024. Les derniers modèles évalués, GPT-5.3 Codex et Opus 4.6, atteignent un taux de réussite de 50 % sur des tâches qui demandent à des experts humains en sécurité offensive entre 3,1 et 3,2 heures de travail. L'étude s'appuie sur sept benchmarks reconnus, dont CyBench, CVEBench et InterCode CTF, complétés par un jeu de données inédit de 291 tâches calibrées par dix professionnels en cybersécurité offensive. Par ailleurs, une seconde étude menée conjointement par l'INSEAD et Harvard Business School sur 515 startups en forte croissance montre que les entreprises formées à l'intégration de l'IA dans leurs processus internes réalisent 12 % de tâches supplémentaires, sont 18 % plus susceptibles d'acquérir des clients payants et génèrent 1,9 fois plus de revenus que les entreprises non formées. Ces résultats posent des questions fondamentales sur la double nature des systèmes d'IA. Un modèle performant pour détecter des vulnérabilités dans du code à des fins défensives peut être retourné en outil d'attaque sans modification. C'est ce que les chercheurs de Lyptus désignent comme le problème de la machine universelle : chaque gain de capacité générale amplifie simultanément les risques dans des domaines sensibles, de la cybersécurité à la biologie en passant par la physique des hautes énergies. Concrètement, les meilleurs modèles actuels peuvent aujourd'hui automatiser l'équivalent d'une demi-journée de travail d'un expert en sécurité offensive. Sur le front économique, la même dynamique joue en faveur des entreprises qui s'approprient l'IA : les startups traitées dans l'expérience de l'INSEAD ont concentré leurs gains principalement sur le développement produit et la stratégie, avec une augmentation de 44 % des cas d'usage IA identifiés. Le rythme d'accélération documenté par Lyptus place les décideurs politiques dans une course contre la montre. Les modèles open-weight les plus récents, comme GLM-5, n'accusent qu'un retard de 5,7 mois sur la frontière des modèles propriétaires, ce qui signifie que des capacités offensives avancées se diffuseront rapidement hors de tout contrôle centralisé. La chronologie des modèles évalués, de GPT-2 en 2019 aux modèles de 2026 comme Opus 4.6 et Sonnet 4.6, illustre une trajectoire continue et sans rupture. Les enjeux dépassent la cybersécurité stricte : ils interrogent la gouvernance globale de l'IA, la réglementation des modèles open-source, et la capacité des États à anticiper des menaces dont la vitesse de développement dépasse celle des cadres législatifs existants.

UEL'accélération des capacités offensives des modèles IA pose un défi direct aux régulateurs européens : l'AI Act risque d'être structurellement dépassé par la diffusion rapide de modèles open-weight aux capacités de cyberattaque avancées, menaçant infrastructures critiques et cadres législatifs existants.

💬 Les lois d'échelle appliquées à la cyberguerre, c'est le truc qu'on préférerait ne pas voir confirmé par une étude sérieuse. Un doublement des capacités offensives tous les 5,7 mois sur les derniers modèles, ça veut dire que les cadres réglementaires comme l'AI Act sont obsolètes avant même d'entrer en vigueur. Et le pire, c'est que les modèles open-weight suivent la frontière avec moins de 6 mois de retard, donc aucun contrôle centralisé ne tiendra.

SécuritéOpinion
1 source
Import AI 461 : l'alignement n'est pas sur la bonne voie ; FrontierCode ; et des stagiaires de recherche synthétiques
2Import AI 

Import AI 461 : l'alignement n'est pas sur la bonne voie ; FrontierCode ; et des stagiaires de recherche synthétiques

Des chercheurs issus du UK AI Security Institute et de la startup Timaeus ont fondé Sequent, une organisation à but non lucratif dédiée à la sécurité des IA superintelligentes. Le lancement intervient dans un contexte d'urgence assumée : selon ses fondateurs, "l'alignement n'est pas sur la bonne trajectoire" pour être prêt au moment où une superintelligence artificielle (ASI) pourrait émerger, ce qu'ils estiment possible dans les prochaines années. Sequent vise à atteindre 40 à 80 employés à plein temps en quelques années, avec un objectif de levée de fonds initial de 100 à 150 millions de dollars, pouvant dépasser un milliard si les premières recherches s'avèrent prometteuses. Ce qui distingue Sequent des laboratoires frontières comme OpenAI, Google DeepMind ou Anthropic, c'est son approche : au lieu de méthodes réactives qui corrigent les problèmes au fur et à mesure, l'organisation cherche des "raisons de principe" permettant d'être confiant, avant même d'entraîner un système, que son alignement dans des situations contrôlées se généralisera à des contextes incontrôlés. Les domaines de recherche prioritaires incluent la supervision évolutive (scalable oversight), la théorie de l'apprentissage, les arguments heuristiques, la théorie des jeux et les modèles de "personas". L'enjeu est direct : si les IA commencent à s'améliorer elles-mêmes de façon récursive, c'est-à-dire à construire des versions plus performantes d'elles-mêmes de manière autonome, sans techniques d'alignement robustes, les risques deviennent incontrôlables. La création de Sequent s'inscrit dans une tension croissante entre la course au développement des IA les plus puissantes et les efforts pour en garantir la sécurité. Les grands laboratoires ont jusqu'ici adopté une posture principalement empirique : observer les échecs, les corriger, itérer. Cette approche fonctionne lorsque les systèmes restent supervisables par des humains, mais elle montre ses limites à mesure que l'autonomie des modèles augmente. Sequent se positionne volontairement en dehors de ces structures commerciales pour préserver son indépendance, y compris la liberté de "donner l'alarme" si un acteur frontière prend selon eux des risques inacceptables. La formulation est directe dans leur document fondateur : "nous aurons peut-être besoin de crier." À l'heure où les investissements en IA atteignent des centaines de milliards de dollars par an, l'existence d'organisations capables de jouer ce rôle de vigie indépendante devient un enjeu de gouvernance autant que de recherche.

UELa fondation de Sequent par des chercheurs du UK AI Security Institute renforce l'écosystème de recherche en alignement hors des laboratoires commerciaux américains, ce qui pourrait alimenter les travaux de l'AI Office européen sur la gouvernance des systèmes d'IA avancés.

SécuritéOpinion
1 source
Import AI 458 : réflexions sur l'avenir et une histoire de singularité
3Import AI 

Import AI 458 : réflexions sur l'avenir et une histoire de singularité

Jack Clark, co-fondateur d'Anthropic et auteur de la newsletter Import AI, a donné en 2026 une conférence à l'Institut d'éthique en IA de l'Université d'Oxford, en collaboration avec le Cosmos Institute. Intitulée "Explorer le futur ou se retrancher dans le présent", cette intervention s'appuie sur l'Epoch Capabilities Index (ECI), un indice qui agrège les performances des modèles sur plus de 40 benchmarks distincts. Clark y retrace les grandes étapes récentes : en mars 2023, une IA réussit l'examen du barreau américain ; en juillet 2024, des systèmes basés sur des grands modèles de langage décrochent une médaille d'argent aux Olympiades Internationales de Mathématiques, puis la médaille d'or en juillet 2025. La même année, des IA co-signent de nouvelles preuves mathématiques et Claude Mythos identifie des failles inédites dans des logiciels. Face à cette accélération, Clark pose une question centrale : que fait-on de ce progrès ? Sa thèse est que l'IA ne peut pas être traitée comme une technologie ordinaire. Si le rythme actuel se maintient, des systèmes potentiellement capables de se perfectionner eux-mêmes pourraient voir le jour dans un horizon proche. Les individus comme les sociétés n'auraient alors que deux options : anticiper activement les transformations qui s'annoncent, ou les subir passivement en ignorant leurs implications. Les enjeux concrets sont immenses : distribution des bénéfices, gouvernance, arbitrages sur les usages. Ces choix se poseront bien avant que la technologie n'atteigne ses limites. La conférence s'inscrit dans un débat qui s'intensifie depuis plusieurs années au sein de la communauté IA. Anthropic, co-fondée en 2021 par Clark avec Dario et Daniela Amodei, est positionnée depuis ses débuts sur la sécurité des systèmes avancés. L'ECI qu'il cite est produit par Epoch AI, un organisme de recherche indépendant qui surveille l'évolution des capacités des modèles dans le temps. La lecture de cette courbe provoque chez Clark ce qu'il décrit comme un sentiment de "vertige" : non pas parce que les chiffres sont abstraits, mais parce qu'il mesure concrètement ce qu'ils impliquent pour des pans entiers de l'économie et de la société. Le numéro 458 d'Import AI inclut également une nouvelle de fiction explorant à quoi pourrait ressembler une singularité positive, signe que les praticiens de l'IA eux-mêmes commencent à prendre au sérieux des scénarios longtemps relégués à la spéculation.

UELes réflexions sur la gouvernance de l'IA avancée et la distribution de ses bénéfices, portées par des figures de référence comme Oxford et Anthropic, alimentent directement le débat européen sur la mise en œuvre de l'AI Act.

SécuritéOpinion
1 source
Import AI 457 : Stuxnet IA, optimiseur Muon et alignement positif
4Import AI 

Import AI 457 : Stuxnet IA, optimiseur Muon et alignement positif

Des chercheurs de SentinelOne ont mis au jour un virus informatique vieux de plus de vingt ans, baptisé fast16.sys, dont le fonctionnement remet en question ce que l'on croyait savoir sur le sabotage numérique d'État. Contrairement aux malwares classiques, ce logiciel ne cherche pas à voler des données ni à paralyser des systèmes : il introduit silencieusement de petites erreurs systématiques dans des calculs de haute précision. Les outils ciblés sont identifiés avec précision, LS-DYNA 970, PKPM et MOHID, trois suites de simulation utilisées dans des domaines comme l'ingénierie civile, la physique et la modélisation hydrodynamique. LS-DYNA a notamment été cité dans des rapports publics sur les violations présumées de l'Iran à la section T du JCPOA, l'accord nucléaire de 2015, ainsi que dans des études sur la modélisation informatique liée au développement d'armes nucléaires. Parallèlement, des chercheurs de Tilde Research ont publié une analyse de l'optimiseur Muon, largement adopté dans l'entraînement de modèles de langage, révélant un défaut structurel grave : plus d'un neurone sur quatre dans les couches MLP meurt dès les premières 500 étapes d'entraînement et ne se remet jamais. L'impact de ces deux découvertes est considérable. Fast16.sys représente un précédent historique : cinq ans avant Stuxnet, un acteur étatique non identifié avait déjà conçu un outil capable de dégrader progressivement les capacités scientifiques d'un adversaire sans déclencher d'alerte visible. En introduisant des biais dans des simulations physiques, un tel virus peut compromettre la fiabilité d'infrastructures entières ou ralentir durablement des programmes de recherche stratégiques. Côté optimiseurs, la mort neuronale dans Muon n'est pas un bug mineur : elle signifie que les modèles entraînés avec cet algorithme présentent une distribution bimodale pathologique, avec une fraction significative de capacité computationnelle inutilisée dès les premiers instants de l'apprentissage, ce qui affecte directement la qualité finale des modèles. Ces deux révélations s'inscrivent dans un contexte de montée en puissance de la guerre technologique silencieuse. SentinelOne relie fast16.sys à un corpus de références Shadow Brokers, laissant entendre des origines liées à des agences de renseignement. L'auteur de la newsletter Import AI, Jack Clark, pousse la réflexion plus loin : si une superintelligence cherchait à empêcher l'émergence de rivaux, elle pourrait recourir exactement à ce type de sabotage discret des infrastructures scientifiques, ce qui soulève des questions inédites sur la sécurité des outils de calcul eux-mêmes. Concernant Muon, l'alternative proposée est l'optimiseur Aurora, potentiellement exempt de ces problèmes d'anisotropie. Le champ des optimiseurs pour grands modèles reste un terrain de recherche actif, où chaque découverte peut remettre en cause des choix d'entraînement déjà engagés à grande échelle.

UELes institutions de recherche et de défense européennes utilisant des logiciels de simulation comme LS-DYNA sont exposées au risque de sabotage discret via des malwares de type fast16.sys, et les laboratoires européens entraînant des LLMs avec l'optimiseur Muon devraient évaluer une migration vers Aurora.

SécuritéActu
1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, rédigé par un humain · désinscription en un clic