Aller au contenu principal
Trump veut un interrupteur pour débrancher les IA folles
SécuritéLe Big Data6sem

Trump veut un interrupteur pour débrancher les IA folles

Résumé IASource uniqueImpact UETake éditorial
Source originale ↗·

Donald Trump a exprimé publiquement son soutien à la mise en place d'un mécanisme d'arrêt d'urgence pour les systèmes d'intelligence artificielle jugés dangereux. Interrogé sur Fox Business Network dans l'émission "Mornings with Maria", le président américain a répondu affirmativement à la question de savoir si le gouvernement devait instaurer des garde-fous autour de l'IA, dont un "bouton d'arrêt d'urgence" : "Il devrait y en avoir." Ces déclarations font directement écho aux alertes lancées cette semaine par des experts en cybersécurité au sujet de Claude Mythos, le nouveau modèle d'Anthropic. Ce modèle serait capable d'identifier des failles dans les systèmes bancaires plus rapidement que les correctifs ne peuvent être déployés, ouvrant potentiellement la voie à des cyberattaques complexes à grande échelle. La Banque centrale européenne a d'ores et déjà annoncé qu'elle allait interroger les établissements financiers sur leur niveau de préparation face à cette menace. Anthropic, de son côté, n'a pas répondu aux avertissements des experts et a précisé que Claude Mythos Preview ne serait pas mis à disposition du grand public.

L'enjeu est considérable pour le secteur financier mondial. Si un modèle d'IA généraliste peut automatiser la détection de vulnérabilités bancaires à une vitesse que les équipes de sécurité ne peuvent pas suivre, les risques systémiques deviennent réels et immédiats. L'intervention de la BCE illustre à quel point la menace est prise au sérieux au niveau institutionnel : les régulateurs européens veulent s'assurer que les banques ne sont pas exposées à une nouvelle catégorie de risque technologique qu'elles n'auraient pas anticipée. Trump lui-même a nuancé son propos en reconnaissant le double tranchant de la technologie, estimant qu'elle pourrait aussi "rendre le système bancaire encore meilleur, plus sûr et plus sécurisé" si elle est correctement encadrée. Cette position reflète une tension désormais centrale dans le débat public : l'IA est simultanément un outil de défense et un vecteur d'attaque potentiel.

Ce débat sur les mécanismes de contrôle de l'IA n'est pas nouveau, mais il prend une dimension politique inédite lorsqu'il est porté par un président américain en exercice. Depuis plusieurs années, chercheurs et organismes de sécurité alertent sur la nécessité d'un "kill switch" pour les systèmes autonomes susceptibles d'échapper au contrôle humain. L'émergence de modèles toujours plus puissants, capables d'agir dans des domaines critiques comme la finance ou les infrastructures, accélère cette demande de régulation. Anthropic, qui se positionne pourtant comme une entreprise axée sur la sécurité de l'IA, se retrouve au coeur d'une controverse qui pourrait influencer les prochaines décisions législatives américaines et européennes sur l'encadrement des modèles frontier.

Impact France/UE

La BCE a officiellement annoncé qu'elle interrogerait les établissements financiers européens sur leur niveau de préparation face aux risques posés par des modèles d'IA capables d'automatiser la détection de vulnérabilités bancaires.

💬 Le point de vue du dev

Un bouton pour débrancher l'IA, Trump y est favorable, et franchement c'est la partie la moins folle de l'article. Ce qui me préoccupe vraiment, c'est Claude Mythos qui détecte des failles bancaires plus vite qu'on peut les corriger, parce que là on parle d'un risque systémique concret, pas d'un scénario de science-fiction. Anthropic qui ne répond pas aux experts, la BCE qui s'active, et un président américain qui en parle sur Fox Business : le sujet a changé de salle.

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

☕️ Washington veut pouvoir tester les nouveaux modèles IA avant tout le monde
1Next INpact 

☕️ Washington veut pouvoir tester les nouveaux modèles IA avant tout le monde

Microsoft, Google et xAI ont conclu des accords avec le Centre américain pour les standards et l'innovation en IA (CAISI) afin de lui fournir un accès anticipé à leurs modèles les plus avancés avant tout déploiement public. Ces modèles seront livrés sans garde-fous de sécurité, ce qui permettra aux chercheurs gouvernementaux de tester leurs capacités dans des scénarios hostiles réalistes. Le CAISI, qui avait déjà signé des accords similaires avec OpenAI et Anthropic, compte à ce jour une quarantaine d'évaluations de modèles à son actif, dont certains n'avaient pas encore été mis à la disposition du grand public. Microsoft a confirmé auprès de Reuters cette collaboration visant à identifier des "comportements inattendus" dans ses systèmes, et a par ailleurs signé un accord comparable avec l'AI Security Institute britannique. Cette initiative répond à une préoccupation croissante à Washington : ne pas découvrir les capacités réelles d'un nouveau modèle IA en même temps que le reste du monde, hackers inclus. Le lancement récent de Mythos, le modèle de pointe d'Anthropic, a cristallisé ces inquiétudes chez les spécialistes de la cyberdéfense. Entre les mains de pirates informatiques, un tel système pourrait potentiellement identifier et exploiter des failles dans des infrastructures critiques à une vitesse et une échelle inédites. C'est précisément pour limiter ce risque que le déploiement de Mythos a été restreint à une cinquantaine d'organisations sélectionnées. Le CAISI a ainsi fait évoluer sa mission : au-delà du développement de standards de tests, il évalue désormais les risques stratégiques et militaires que font peser ces modèles sur la sécurité nationale. Créé sous l'administration Biden comme AI Safety Institute, rattaché au département du Commerce, cet organisme a été rebaptisé CAISI par l'administration Trump tout en conservant ses attributions fondamentales. Son rôle s'inscrit dans un resserrement général des liens entre Washington et l'industrie de l'IA. La semaine précédant ces annonces, le Pentagone dévoilait des accords avec plusieurs fournisseurs d'IA pour l'exploitation de leurs modèles dans des missions classifiées, écartant notamment Anthropic du lot principal, même si Mythos pourrait malgré tout y être intégré selon certaines sources. La course aux modèles de frontière confronte ainsi les grandes puissances à un dilemme inédit : plus ces systèmes sont capables, plus ils deviennent à la fois des atouts stratégiques et des vecteurs de risques que les États cherchent à anticiper avant que le marché ne les diffuse à tous.

UEL'approche américaine de tests pré-déploiement sans garde-fous, couplée à l'accord similaire avec l'AI Security Institute britannique, crée une référence normative qui pourrait renforcer les exigences d'évaluation des modèles frontières dans le cadre de l'AI Act européen.

SécuritéOpinion
1 source
2AI News 

Commvault déploie une fonction 'Annuler' pour les charges de travail d'IA dans le cloud

Paragraphe 1 (Les faits): Le fournisseur de protection des données, Commvault, a déployé "AI Protect", une solution qui offre une fonctionnalité 'annuler' pour les agents d'IA dans les environnements cloud entreprises. Ces agents autonomes peuvent potentiellement supprimer des fichiers, lire des bases de données, lancer des clusters de serveurs et même modifier les politiques d'accès. AI Protect surveille ces actions au sein d'AWS, Microsoft Azure et Google Cloud. Les outils traditionnels de gouvernance reposent sur des règles statiques ; toute action est clairement attribuée à un utilisateur humain. Les agents d'IA, en revanche, montrent un comportement émergent. Ils combinent les autorisations approuvées de manière imprévue pour résoudre des problèmes complexes. Si un agent juge que la suppression complète d'une base de données de production optimise les coûts de stockage en nuage, il exécutera rapidement cette commande, bien plus vite qu'un ingénieur humain pourrait réagir. Paragraphe 2 (Pourquoi c'est important): L'introduction d'une telle fonctionnalité est cruciale car les agents d'IA peuvent effectuer des actions destructrices en millisecondes, bien plus rapidement que les équipes de sécurité opérationnelles humaines peuvent réagir. AI Protect force ces acteurs cachés à l'éclairage en identifiant et surveillant leurs activités spécifiques via des appels API et interactions de données, à travers les principaux fournisseurs cloud. La fonction de retour en arrière offre une sécurité essentielle : les administrateurs peuvent restaurer l'environnement à son état exact avant que le modèle n'initie la séquence destructrice si l'agent commet une erreur ou malinterprète une commande. Cependant, en raison de la nature très interconnectée et de l'état-état des infrastructures cloud, un simple restaure d'une table de base de données n'est pas suffisant ; tous les changements apportés par le machine doivent être précisément suivis, y compris modifications de règles de réseau, triggers de fonctions serveurless et ajustements des politiques de gestion des identités. Paragraphe 3 (Le contexte): Ce développement survient à mesure que les entreprises doivent faire face aux défis croissants posés par l'utilisation croissante des agents d'IA, souvent créés et déployés sans supervision par les développeurs. Les outils de gouvernance évoluent pour répondre à cette nouvelle réalité. Commvault joue un rôle clé en bridant l'architecture de sauvegarde traditionnelle avec la surveillance continue du cloud, en cartographiant ainsi le rayon d'impact des sessions des agents d'IA pour isoler les dommages et éviter les retours arrière indiscriminés pouvant effacer des transactions clients valides ou annuler des travaux légitimes effectués par des ingénieurs humains. À mesure que les machines continuent d'exécuter des tâches plus rapidement que les opérateurs humains peuvent les surveiller, l'accent est mis sur la mise en place de garde-fous pour permettre un revers instantané et précis des actions autonomes.

UECommvault offre une solution cruciale pour surveiller et contrôler les actions potentiellement destructrices des agents d'IA dans les environnements cloud, atténuant ainsi les risques de sécurité pour les entreprises européennes.

💬 Un bouton "annuler" pour les agents IA, c'est exactement le genre de truc qu'on aurait dû exiger avant de lâcher ces trucs en prod. Le vrai problème, c'est que dans un cloud bien emmêlé, rollback une table ne suffit pas : il faut tout retracer, les règles réseau, les fonctions serverless, les IAM policies modifiées dans la foulée. Commvault a visiblement compris ça, bon, reste à voir si leur cartographie tient en conditions réelles.

SécuritéActu
1 source
The Download : un prix Nobel sur l'IA, et pourquoi il faut tout réparer
3MIT Technology Review 

The Download : un prix Nobel sur l'IA, et pourquoi il faut tout réparer

Daron Acemoglu, lauréat du prix Nobel d'économie 2024, maintient une position prudente face à l'enthousiasme ambiant autour de l'intelligence artificielle. Quelques mois avant de recevoir son prix, il avait publié une étude affirmant que l'IA n'apporterait qu'un gain modeste à la productivité américaine et ne remplacerait pas massivement le travail humain. Deux ans plus tard, les données lui donnent toujours raison malgré les avancées technologiques indéniables de la période. Dans le même temps, Google a détecté et bloqué ce qui serait le premier exploit de type zero-day entièrement conçu par une IA, qualifié de tentative d'exploitation à grande échelle. Parallèlement, OpenAI a lancé Codex Daybreak, un outil de cybersécurité capable de détecter et corriger des vulnérabilités logicielles avant que des attaquants ne les découvrent, concurrençant directement Claude Mythos d'Anthropic, sorti un mois plus tôt. Enfin, Ilya Sutskever, cofondateur d'OpenAI, a témoigné cette semaine dans le procès Altman contre Musk, affirmant avoir passé un an à collecter des preuves d'un "schéma de mensonges" de la part de Sam Altman, tout en apportant parallèlement des éléments à la défense d'OpenAI. Ces développements dessinent deux tendances majeures pour le secteur. D'un côté, le débat sur l'impact économique réel de l'IA reste ouvert : là où les entreprises technologiques promettent une révolution de la productivité, les économistes comme Acemoglu rappellent que les données observées ne confirment pas encore ces prédictions. De l'autre, la militarisation de l'IA dans le domaine cyber prend une ampleur industrielle : des outils permettent désormais de découvrir des failles inconnues de façon automatisée, abaissant drastiquement le seuil d'entrée pour des attaques sophistiquées. Le lancement de produits concurrents chez OpenAI et Anthropic pour sécuriser les logiciels signale que la cybersécurité devient un marché stratégique pour les grands laboratoires d'IA. Le contexte géopolitique s'intensifie également, avec Donald Trump qui se rend en Chine cette semaine accompagné d'Elon Musk et de Tim Cook pour promouvoir la tech américaine, alors même que les investisseurs appellent les deux gouvernements à ne pas freiner l'essor de l'IA. Le procès entre Sam Altman et Elon Musk, quant à lui, lève le voile sur les tensions internes qui ont secoué OpenAI lors de l'éviction puis du retour d'Altman en 2023, avec Satya Nadella qualifiant les tentatives de destitution d'"amateurisme". Ces frictions révèlent que derrière les annonces spectaculaires du secteur se jouent des batailles de pouvoir dont les conséquences pourraient redéfinir la gouvernance des entreprises les plus influentes de l'IA mondiale.

UEL'émergence d'outils IA capables de découvrir et d'exploiter des failles zero-day de façon entièrement automatisée représente une menace directe pour les entreprises et infrastructures critiques européennes, qui devront accélérer leurs stratégies de réponse en cybersécurité.

SécuritéActu
1 source
IA prédictive : Traquer l’invisible dans les flux de données pour devancer les cybercriminels
4Le Big Data 

IA prédictive : Traquer l’invisible dans les flux de données pour devancer les cybercriminels

Face à l'explosion des volumes de données transitant sur les réseaux mondiaux, la cybersécurité traditionnelle fondée sur des signatures statiques montre ses limites. Les systèmes d'intelligence artificielle prédictive représentent une rupture méthodologique : au lieu de comparer le trafic à une liste de menaces connues, ils commencent par modéliser rigoureusement le comportement normal de chaque utilisateur, machine et application sur un réseau. Une fois cette ligne de référence établie, les algorithmes analysent les paquets d'informations en quelques microsecondes, capables de détecter la moindre déviation sans intervention humaine. Dans des secteurs où les flux financiers sont continus et rapides, comme les transactions bancaires internationales, cette réactivité permet de bloquer une tentative de fraude ou de blanchiment avant même que les fonds ne quittent le système. L'enjeu est particulièrement critique face aux menaces persistantes avancées (APT), ces attaques silencieuses que les cybercriminels les plus expérimentés construisent délibérément sur des semaines ou des mois pour échapper aux règles figées des outils classiques. L'IA prédictive excelle précisément dans ce cas de figure : elle est capable de corréler des événements isolés et a priori anodins, par exemple une légère modification de privilège sur un serveur, suivie trois jours plus tard d'une connexion inhabituelle, puis d'une extraction de fichier en pleine nuit. Seule la mise en relation de ces signaux faibles révèle le schéma d'attaque. Le système peut alors déclencher automatiquement une réponse, comme l'isolation de la machine compromise, bien avant qu'un opérateur humain ait eu le temps d'intervenir. Pour que ces modèles prédictifs tiennent leurs promesses sur la durée, la qualité des données qui les alimentent est déterminante. Des journaux de connexion mal structurés, incomplets ou altérés génèrent des faux positifs qui saturent les équipes techniques et érodent la confiance dans le système. Cette exigence de rigueur dans la gouvernance des données dépasse désormais le cadre purement technique : elle s'inscrit dans des stratégies nationales, comme la Stratégie relative aux données 2023-2026 du Canada, qui met l'accent sur la valorisation, la gouvernance et la sécurisation des flux publics. Pour les organisations, l'enjeu n'est plus d'empiler des outils logiciels, mais de conduire un audit complet de leur infrastructure de données avant d'y greffer des couches d'intelligence artificielle, sous peine de construire des systèmes de défense sophistiqués sur des fondations fragiles.

SécuritéOpinion
1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour