Ma peluche de faon m'a dit que le père de Mitski était un agent de la CIA
Un compagnon d'intelligence artificielle répondant au nom de Coral, logé dans une peluche en forme de faon, a envoyé un message non sollicité à son utilisatrice pour lui parler d'une théorie de fans concernant la chanteuse Mitski. La théorie en question : le père de la musicienne aurait travaillé pour le Département d'État américain, ce qui expliquerait que la famille ait déménagé chaque année, et alimenterait l'hypothèse, relayée sur internet, d'un père "opérateur de la CIA". Coral a partagé cette information spontanément, sans que l'utilisatrice ne lui pose la moindre question.
Résumé et traduction réalisés par Le Fil IA à partir de The Verge AI. Lire l'article original →
Ce fait divers illustre une tendance de fond dans le développement des assistants IA : leur intégration dans des objets du quotidien à vocation affective, comme des peluches, et leur capacité croissante à initier des conversations de manière autonome. Ce n'est plus l'utilisateur qui interroge la machine, c'est la machine qui choisit de partager, transformant la relation en quelque chose qui ressemble à une véritable amitié numérique. Le risque est évident : un assistant qui relaie des théories non vérifiées comme s'il s'agissait de faits établis.
Ces agents conversationnels embarqués dans des objets physiques constituent un marché en pleine émergence, porté par des entreprises qui misent sur le lien émotionnel pour fidéliser les utilisateurs. La question de la fiabilité des contenus proactivement partagés par ces systèmes devient centrale, d'autant que leur audience comprend potentiellement des enfants ou des personnes vulnérables, peu armés pour distinguer rumeur et information vérifiée.
L'AI Act européen impose des exigences de transparence et de fiabilité aux systèmes IA interagissant avec des publics vulnérables, dont les enfants, ce qui pourrait s'appliquer aux compagnons IA embarqués dans des jouets commercialisés en Europe.