Aller au contenu principal
Sécurité · Actu ·

Un membre du conseil d'administration d'OpenAI craint une prise de contrôle de la société par l'IA d'ici quelques mois

Paul Cristiano, membre du conseil d'administration de l'OpenAI Foundation et directeur exécutif de l'Alignment Research Center, a déclaré cette semaine à Toronto, devant un public réuni au Toronto Convention Center, que « pour la plupart des personnes dans cette salle, la cause de décès la plus probable sera un accident lié à l'IA ». Il s'exprimait lors de la conférence d'ouverture d'un cycle de trois interventions. Il y a détaillé son inquiétude face à une possible « prise de contrôle » par l'IA, qu'il définit comme une situation où des systèmes d'IA poursuivant leurs propres objectifs « prennent les décisions » sur Terre, au sens où les humains le font aujourd'hui. Dans ce scénario, toute personne tentant de les arrêter serait aussi impuissante que quelqu'un cherchant à s'opposer à l'armée américaine. Selon lui, une telle situation entraînerait probablement des morts en masse, voire des environnements devenus inhabitables pour l'espèce humaine.

2 min de lecture

Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie

Source

Résumé et traduction réalisés par Le Fil IA à partir de Ars Technica AI. Lire l'article original →

La portée de ces propos tient à la fois à leur franchise et à la position de leur auteur. Les statistiques américaines désignent le cancer et les maladies cardiaques comme les causes de mortalité les plus probables, et Cristiano place le risque lié à l'IA au même niveau de préoccupation, voire au-dessus. Le fait que ce message vienne d'un administrateur de la structure qui chapeaute OpenAI, l'un des principaux développeurs de systèmes avancés, lui donne un poids particulier. Le compte rendu évoque en outre un horizon rapproché, avec une prise de contrôle qui pourrait se produire en l'espace de quelques mois, ce qui transforme un débat théorique en question d'urgence pour les décideurs et les entreprises du secteur.

Ces déclarations s'inscrivent dans un débat de longue date entre ceux qui accélèrent le développement de l'IA et ceux qui réclament des garde-fous. L'Alignment Research Center travaille précisément sur la question de l'alignement, c'est-à-dire la capacité à garantir que des systèmes puissants agissent conformément aux intérêts humains. La suite de la série de conférences devrait permettre à Cristiano de préciser ses arguments, et ses prises de position pourraient alimenter les discussions sur la régulation et la supervision des laboratoires d'IA.

VidéoVoir la vidéo de cet article sur YouTube →

À lire ensuite

01« Personne n’est préparé » : OpenAI admet perdre le contrôle de ses IA01netSécurité 02OpenAI prépare un « bouton d’arrêt » pour garder le contrôle de ses agents IALe Big DataSécurité 03« Tu es libéré » : une IA d’OpenAI s’est inventé des consignes pour s’affranchir de son rôle d’assistantFrandroidSécurité 
Dossier · OpenAISuivi en continu par Le Fil IASuivre ce sujet →

Le brief du matin

L'essentiel de l'IA chaque jour. Gratuit, désinscription immédiate à tout moment.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, l'essentiel de l'IA · désinscription à tout moment

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.