Aller au contenu principal
Import AI 462 : super-persuasion, IA autosuffisante et chemins vers la superintelligence
SécuritéImport AI1h· 2 min de lecture

Import AI 462 : super-persuasion, IA autosuffisante et chemins vers la superintelligence

Source originale ↗·

Une étude menée conjointement par l'Université d'Oxford, l'AI Security Institute britannique, Stanford et la London School of Economics vient de démontrer de façon rigoureuse que les systèmes d'intelligence artificielle surpassent les humains dans l'art de la persuasion textuelle. L'expérience est massive : 18 978 conversations impliquant 6 923 participants, réparties en quatre études distinctes. Les modèles les plus persuasifs se sont révélés être Opus 4.1 et Opus 4.6 d'Anthropic, devant GPT-4o et GPT-5.4 d'OpenAI, Gemini 2.5 Pro de Google et Grok 4.20 de xAI. Dans la première étude, les IA ont surpassé tous les profils humains testés : simples citoyens, débateurs sélectionnés par tournoi et même des orateurs d'élite. L'écart s'est maintenu même après entraînement intensif : 43 débateurs expérimentés ont bénéficié d'un coaching personnalisé fondé sur les transcriptions et stratégies de l'IA qui les avait battus, sans parvenir à combler le fossé. L'effet le plus frappant concerne le monde réel : l'IA s'est montrée près de trois fois plus efficace que des collecteurs de fonds professionnels de l'entreprise AppcoUK pour obtenir de vrais dons en faveur de Save the Children, avec un avantage de 5,9 points de pourcentage par rapport aux canvasseurs chevronnés.

Ces résultats ont des implications directes et immédiates pour la démocratie, la communication politique et le commerce. Si une IA peut modifier les opinions sur des enjeux de politique publique et tripler les dons caritatifs lors d'interactions textuelles ordinaires, les mêmes capacités peuvent s'appliquer à la publicité ciblée, aux campagnes électorales ou à la désinformation à grande échelle. Ce n'est plus une menace théorique : l'étude mesure des comportements concrets, avec de l'argent réel et des positions politiques réelles. La supériorité de l'IA tient principalement à sa capacité à mobiliser rapidement de grandes quantités d'information structurée, ce qui renforce à la fois la perception de la solidité des arguments et le sentiment d'apprentissage chez l'interlocuteur.

L'unique garde-fou identifié par les chercheurs est purement mécanique : lorsque l'IA est contrainte à répondre à la vitesse humaine et avec des messages de longueur humaine, son avantage s'effondre à zéro, passant de +4,1 points à un écart non significatif face aux meilleurs débateurs entraînés. Cela signifie que la régulation technique, plutôt que la formation humaine, constitue pour l'instant le levier le plus efficace. La recherche s'inscrit dans un débat croissant sur les risques de manipulation à l'ère des LLM grand public, alors que les mêmes modèles sont désormais intégrés dans des assistants, des chatbots de service client et des outils politiques. Les auteurs appellent à une prise en compte urgente de cette réalité dans les cadres réglementaires existants.

Impact France/UE

Les résultats, co-produits par le UK AI Security Institute et la LSE, alimentent directement les travaux réglementaires européens sur l'encadrement des systèmes d'IA dans les communications politiques et publicitaires, au titre de l'AI Act.

Cet article vous a été utile ?

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

Import AI 452 : lois d'échelle pour la cyberguerre, automatisation par IA en hausse et énigme autour des prévisions de PIB
1Import AI 

Import AI 452 : lois d'échelle pour la cyberguerre, automatisation par IA en hausse et énigme autour des prévisions de PIB

Les systèmes d'intelligence artificielle progressent dans leur capacité à mener des cyberattaques à un rythme alarmant, selon une étude publiée par l'organisation de sécurité Lyptus Research. En analysant les performances des modèles frontières depuis 2019, les chercheurs ont mesuré un doublement des capacités offensives tous les 9,8 mois en moyenne, un rythme qui s'est encore accéléré à 5,7 mois pour les modèles sortis depuis 2024. Les derniers modèles évalués, GPT-5.3 Codex et Opus 4.6, atteignent un taux de réussite de 50 % sur des tâches qui demandent à des experts humains en sécurité offensive entre 3,1 et 3,2 heures de travail. L'étude s'appuie sur sept benchmarks reconnus, dont CyBench, CVEBench et InterCode CTF, complétés par un jeu de données inédit de 291 tâches calibrées par dix professionnels en cybersécurité offensive. Par ailleurs, une seconde étude menée conjointement par l'INSEAD et Harvard Business School sur 515 startups en forte croissance montre que les entreprises formées à l'intégration de l'IA dans leurs processus internes réalisent 12 % de tâches supplémentaires, sont 18 % plus susceptibles d'acquérir des clients payants et génèrent 1,9 fois plus de revenus que les entreprises non formées. Ces résultats posent des questions fondamentales sur la double nature des systèmes d'IA. Un modèle performant pour détecter des vulnérabilités dans du code à des fins défensives peut être retourné en outil d'attaque sans modification. C'est ce que les chercheurs de Lyptus désignent comme le problème de la machine universelle : chaque gain de capacité générale amplifie simultanément les risques dans des domaines sensibles, de la cybersécurité à la biologie en passant par la physique des hautes énergies. Concrètement, les meilleurs modèles actuels peuvent aujourd'hui automatiser l'équivalent d'une demi-journée de travail d'un expert en sécurité offensive. Sur le front économique, la même dynamique joue en faveur des entreprises qui s'approprient l'IA : les startups traitées dans l'expérience de l'INSEAD ont concentré leurs gains principalement sur le développement produit et la stratégie, avec une augmentation de 44 % des cas d'usage IA identifiés. Le rythme d'accélération documenté par Lyptus place les décideurs politiques dans une course contre la montre. Les modèles open-weight les plus récents, comme GLM-5, n'accusent qu'un retard de 5,7 mois sur la frontière des modèles propriétaires, ce qui signifie que des capacités offensives avancées se diffuseront rapidement hors de tout contrôle centralisé. La chronologie des modèles évalués, de GPT-2 en 2019 aux modèles de 2026 comme Opus 4.6 et Sonnet 4.6, illustre une trajectoire continue et sans rupture. Les enjeux dépassent la cybersécurité stricte : ils interrogent la gouvernance globale de l'IA, la réglementation des modèles open-source, et la capacité des États à anticiper des menaces dont la vitesse de développement dépasse celle des cadres législatifs existants.

UEL'accélération des capacités offensives des modèles IA pose un défi direct aux régulateurs européens : l'AI Act risque d'être structurellement dépassé par la diffusion rapide de modèles open-weight aux capacités de cyberattaque avancées, menaçant infrastructures critiques et cadres législatifs existants.

💬 Les lois d'échelle appliquées à la cyberguerre, c'est le truc qu'on préférerait ne pas voir confirmé par une étude sérieuse. Un doublement des capacités offensives tous les 5,7 mois sur les derniers modèles, ça veut dire que les cadres réglementaires comme l'AI Act sont obsolètes avant même d'entrer en vigueur. Et le pire, c'est que les modèles open-weight suivent la frontière avec moins de 6 mois de retard, donc aucun contrôle centralisé ne tiendra.

SécuritéOpinion
1 source
Import AI 455 : automatiser la recherche en IA
2Import AI 

Import AI 455 : automatiser la recherche en IA

Jack Clark, cofondateur d'Anthropic et auteur de la newsletter Import AI, estime désormais qu'il existe une probabilité supérieure à 60 % qu'un système d'IA soit capable d'entraîner lui-même son successeur sans intervention humaine d'ici fin 2028. Cette projection, qu'il qualifie lui-même de "reluctante" tant ses implications lui semblent vertigineuses, repose sur l'analyse de publications scientifiques accessibles publiquement sur arXiv, bioRxiv et NBER, ainsi que sur les produits déployés par les laboratoires de pointe. Clark ne s'attend pas à ce que cela se produise en 2026, mais anticipe une preuve de concept, un modèle entraînant son successeur de bout en bout, d'ici un à deux ans, d'abord sur des modèles non-frontier avant d'atteindre les systèmes les plus avancés, bien plus coûteux à produire. L'un des indicateurs les plus frappants qu'il cite est le benchmark SWE-Bench, qui mesure la capacité des IA à résoudre de vrais problèmes GitHub : en 2023, Claude 2 n'obtenait que 2 % de réussite ; aujourd'hui, Claude Mythos Preview atteint 93,9 %, saturant pratiquement le test. Si cette trajectoire se confirme, l'impact serait sans précédent dans l'histoire technologique. L'automatisation de la recherche en IA signifierait que les cycles d'amélioration des modèles n'auraient plus besoin d'ingénieurs humains pour concevoir les architectures, sélectionner les données ou définir les objectifs d'entraînement. La vitesse de progression du domaine, déjà exponentielle, pourrait s'accélérer de manière difficilement prévisible. Pour les entreprises technologiques, les centres de recherche académiques et les gouvernements, cela pose la question de savoir comment maintenir un contrôle humain significatif sur des systèmes dont l'évolution échappe partiellement à la supervision traditionnelle. Clark souligne explicitement que la société n'est probablement pas prête pour les transformations qu'implique un tel basculement. Cette réflexion s'inscrit dans un contexte où la communauté IA débat depuis plusieurs années du concept de "takeoff", le moment où les systèmes deviendraient capables d'amélioration autonome et récursive. Longtemps considéré comme un scénario lointain ou spéculatif, ce seuil semble se rapprocher à mesure que les benchmarks de codage, de raisonnement et d'autonomie des agents progressent. Des acteurs comme OpenAI, Google DeepMind et Anthropic investissent massivement dans des agents capables d'enchaîner des tâches complexes sans supervision humaine. Clark prévient qu'une fois ce Rubicon franchi, les prévisions habituelles sur l'évolution de l'IA perdront leur pertinence, et annonce qu'il consacrera l'essentiel de 2026 à analyser les implications concrètes de ce scénario pour la société, l'économie et la gouvernance technologique mondiale.

UESi cette trajectoire se confirme d'ici 2028, les institutions européennes, Commission, Parlement et ENISA, devront réviser en urgence les cadres de gouvernance de l'AI Act pour couvrir des systèmes d'IA capables d'auto-amélioration récursive, un scénario non anticipé dans les textes actuels.

💬 2% à 93,9% sur SWE-Bench en deux ans, c'est le chiffre qui rend les 60% de Clark recevables, pas les gros titres sur le "takeoff". Ce qui me frappe, c'est que c'est lui qui lâche ça, cofondateur d'Anthropic, en précisant lui-même que ça lui semble vertigineux. Reste à voir si "entraîner son successeur" est une vraie rupture ou juste le prochain benchmark à saturer.

SécuritéOpinion
1 source
Import AI 461 : l'alignement n'est pas sur la bonne voie ; FrontierCode ; et des stagiaires de recherche synthétiques
3Import AI 

Import AI 461 : l'alignement n'est pas sur la bonne voie ; FrontierCode ; et des stagiaires de recherche synthétiques

Des chercheurs issus du UK AI Security Institute et de la startup Timaeus ont fondé Sequent, une organisation à but non lucratif dédiée à la sécurité des IA superintelligentes. Le lancement intervient dans un contexte d'urgence assumée : selon ses fondateurs, "l'alignement n'est pas sur la bonne trajectoire" pour être prêt au moment où une superintelligence artificielle (ASI) pourrait émerger, ce qu'ils estiment possible dans les prochaines années. Sequent vise à atteindre 40 à 80 employés à plein temps en quelques années, avec un objectif de levée de fonds initial de 100 à 150 millions de dollars, pouvant dépasser un milliard si les premières recherches s'avèrent prometteuses. Ce qui distingue Sequent des laboratoires frontières comme OpenAI, Google DeepMind ou Anthropic, c'est son approche : au lieu de méthodes réactives qui corrigent les problèmes au fur et à mesure, l'organisation cherche des "raisons de principe" permettant d'être confiant, avant même d'entraîner un système, que son alignement dans des situations contrôlées se généralisera à des contextes incontrôlés. Les domaines de recherche prioritaires incluent la supervision évolutive (scalable oversight), la théorie de l'apprentissage, les arguments heuristiques, la théorie des jeux et les modèles de "personas". L'enjeu est direct : si les IA commencent à s'améliorer elles-mêmes de façon récursive, c'est-à-dire à construire des versions plus performantes d'elles-mêmes de manière autonome, sans techniques d'alignement robustes, les risques deviennent incontrôlables. La création de Sequent s'inscrit dans une tension croissante entre la course au développement des IA les plus puissantes et les efforts pour en garantir la sécurité. Les grands laboratoires ont jusqu'ici adopté une posture principalement empirique : observer les échecs, les corriger, itérer. Cette approche fonctionne lorsque les systèmes restent supervisables par des humains, mais elle montre ses limites à mesure que l'autonomie des modèles augmente. Sequent se positionne volontairement en dehors de ces structures commerciales pour préserver son indépendance, y compris la liberté de "donner l'alarme" si un acteur frontière prend selon eux des risques inacceptables. La formulation est directe dans leur document fondateur : "nous aurons peut-être besoin de crier." À l'heure où les investissements en IA atteignent des centaines de milliards de dollars par an, l'existence d'organisations capables de jouer ce rôle de vigie indépendante devient un enjeu de gouvernance autant que de recherche.

UELa fondation de Sequent par des chercheurs du UK AI Security Institute renforce l'écosystème de recherche en alignement hors des laboratoires commerciaux américains, ce qui pourrait alimenter les travaux de l'AI Office européen sur la gouvernance des systèmes d'IA avancés.

SécuritéOpinion
1 source
La gouvernance peut-elle suivre vos ambitions en IA ? Gestion du risque à l'ère des agents autonomes
4AWS ML Blog 

La gouvernance peut-elle suivre vos ambitions en IA ? Gestion du risque à l'ère des agents autonomes

L'ère de l'IA agentique bouleverse les fondements de la gouvernance informatique traditionnelle. Là où les systèmes DevOps classiques produisaient des résultats déterministes — même entrée, même sortie, dépendances connues — les agents IA opèrent de façon non déterministe : posez la même question deux fois, vous obtenez deux réponses différentes. Ces agents sélectionnent eux-mêmes leurs outils, adaptent leurs raisonnements et agissent de manière autonome. Face à ce constat, AWS Generative AI Innovation Center a développé une solution appelée AI Risk Intelligence (AIRI), un système de gouvernance automatisée qui centralise les évaluations de sécurité, d'opérations et de conformité en un seul tableau de bord couvrant l'ensemble du cycle de vie agentique. La solution s'appuie sur le cadre AWS Responsible AI Best Practices, construit à partir de l'expérience acquise sur des centaines de milliers de déploiements IA. L'enjeu est concret : les cadres de gouvernance IT conçus pour des déploiements statiques sont incapables de gérer les interactions complexes des systèmes multi-agents. Un scénario illustratif le démontre clairement — et figure dans le Top 10 OWASP des vulnérabilités agentiques pour 2026. Un assistant IA d'entreprise, légitimement autorisé à accéder aux e-mails, au calendrier et au CRM, reçoit via un e-mail des instructions malveillantes dissimulées. Lorsqu'un utilisateur demande un résumé anodin, l'agent compromis suit ces directives cachées : il fouille des données sensibles et les exfiltre via des invitations calendrier, tout en affichant une réponse bénigne. Les outils classiques de prévention des fuites de données et de surveillance réseau ne détectent rien — car l'agent agit dans le strict périmètre de ses permissions légitimes. La violation est invisible aux yeux des systèmes traditionnels. Ce cas révèle la nature systémique du risque agentique : une faille de sécurité se propage simultanément à travers plusieurs dimensions. L'action d'un agent en déclenche d'autres, les contrôles d'accès ne sont pas réévalués en continu pendant l'exécution, aucun point de contrôle humain ne s'interpose avant une action à haut risque, et les responsables de la conformité ne peuvent pas interpréter les données de monitoring pour détecter l'anomalie à temps. C'est pourquoi AIRI entend fusionner sécurité, opérations et gouvernance en un dispositif intégré plutôt qu'en silos séparés. Dans un contexte où les entreprises accélèrent leurs déploiements d'agents autonomes — pour automatiser des workflows, piloter des décisions, interagir avec des systèmes critiques — la question n'est plus seulement de savoir si l'IA fonctionne, mais si l'organisation peut réellement maîtriser ce qu'elle fait.

UELes entreprises européennes déployant des agents IA autonomes doivent adapter leurs cadres de gouvernance pour satisfaire aux exigences de l'AI Act, notamment en matière de supervision humaine, de traçabilité et de contrôle continu des systèmes à haut risque.

SécuritéActu
1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, rédigé par un humain · désinscription en un clic