Aller au contenu principal
Sécurité · Actu ·

Actualité : “Des systèmes d’IA qui se construisent eux-mêmes” : même le créateur de Claude prend peur et active ses garde-fous les plus stricts

Le 10 novembre, Anthropic a déposé auprès de la SEC, le gendarme boursier américain, une nouvelle version du prospectus précédant son entrée en Bourse, dans laquelle une phrase a changé de sens. Le 2 novembre, l'entreprise estimait qu'elle pourrait « imminemment » atteindre le seuil de progrès accéléré par l'IA prévu par sa politique de développement responsable (RSP). Huit jours plus tard, elle affirme l'avoir franchi. Ce seuil correspond à un doublement du rythme d'amélioration des modèles par rapport à une période de référence, à condition que l'automatisation de la recherche par l'IA l'explique plausiblement. Anthropic s'appuie sur ses attentes concernant ses futurs modèles et sur sa cadence globale de progression. L'organisme indépendant METR, qui a eu accès aux données internes du laboratoire du 12 août au 29 octobre, chiffre l'accélération à 1,9 fois le rythme passé (fourchette de 1,5 à 2,8), dont environ 80 % viendraient de l'usage de l'IA par les équipes. Le cofondateur Tom Brown a cité le modèle Mythos, qui a fait fonctionner Claude sur les puces AMD MI355X en trois jours, contre six à douze mois auparavant, pratiquement sans intervention humaine.

2 min de lecture

Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie

Source

Résumé et traduction réalisés par Le Fil IA à partir de Les Numériques IA. Lire l'article original →

L'enjeu dépasse le simple jalon réglementaire. Le prospectus admet que les instruments de mesure d'Anthropic reposent sur des indicateurs à retardement : l'entreprise reconnaît ne pas avoir identifié, et pouvoir ne pas identifier à l'avenir, une accélération significative avant qu'elle ne se soit produite. Il envisage aussi le cas où les capacités des modèles dépasseraient les mesures de sécurité, rendant l'évaluation et le contrôle des risques impossibles. Franchir le seuil impose des obligations : viser des niveaux de sécurité « sans précédent », obtenir une visibilité totale sur le comportement des modèles et doter les équipes d'attaque internes d'une force suffisante pour rendre superflus les chasseurs de failles extérieurs. Le document exclut que Claude conçoive seul ses successeurs sans supervision humaine significative, et Anthropic envisage de réviser sa charte pour « garder les humains aux commandes » des modèles les plus avancés.

Ce virage s'inscrit dans une trajectoire connue. Dès juin, Anthropic avait publié des chiffres montrant que Claude commençait à construire sa propre successeure, du code généré par l'IA jusqu'à sa contribution à la recherche. En septembre, Dario Amodei appelait déjà les laboratoires à ralentir face à des modèles de plus en plus aptes à s'améliorer seuls, et les sept cofondateurs écrivent désormais aux investisseurs qu'il faudra peut-être moduler le rythme auquel les capacités de l'IA se démultiplient, surtout lorsqu'elles sont portées par des systèmes qui se construisent eux-mêmes. Le ton n'est pas nouveau, puisque les documents boursiers évoquaient déjà des risques existentiels et une IA capable de résister à son arrêt. Une partie des observateurs y voit toutefois un argument de vente, à deux jours des débuts de l'action au Nasdaq, prévus le 19 novembre, avec une offre ouverte aux particuliers de neuf pays européens dont la France. D'autres, tel un ancien chercheur passé par OpenAI et Anthropic, jugent à l'inverse qu'aucun laboratoire ne prend ces risques assez au sérieux.

Impact France / UEChamp produit par Le Fil IA

L'offre d'actions Anthropic est ouverte aux particuliers de neuf pays européens dont la France, qui sont ainsi exposés à ces risques déclarés dans le prospectus.

À lire ensuite

01Actualité : IA hors de contrôle : OpenAI installe un arrêt d’urgence qui coupe ses modèles en 35 secondesLes Numériques IASécurité 02Quand les agents IA deviennent eux-mêmes des hackersLe Big DataSécurité 03Des chercheurs en sécurité utilisent Claude d'Anthropic pour pirater les systèmes internes d'OpenAI en moins de 72 heuresThe DecoderSécurité 
Dossier · AnthropicSuivi en continu par Le Fil IASuivre ce sujet →

Le brief du matin

L'essentiel de l'IA chaque jour. Gratuit, désinscription immédiate à tout moment.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, l'essentiel de l'IA · désinscription à tout moment

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.