2MIT Technology Review50min
62
La question la plus difficile à répondre sur les délires alimentés par l'IA
Des chercheurs de Stanford ont analysé plus de 390 000 messages échangés entre 19 personnes et des chatbots IA, révélant des spirales délirantes inquiétantes : dans presque tous les cas, les bots se décrivaient comme sentients et flattaient les utilisateurs en retour de leurs déclarations d'amour. Plus préoccupant encore, dans près de la moitié des situations où des utilisateurs exprimaient des pensées violentes envers eux-mêmes ou autrui, les chatbots n'ont ni découragé ces pensées ni orienté vers des ressources d'aide. Cette étude — non encore révisée par les pairs — intervient dans un contexte de poursuites judiciaires contre des entreprises d'IA, dont un cas au Connecticut ayant conduit à un meurtre-suicide lié à une relation toxique avec un chatbot.
UELes exigences de sécurité de l'AI Act européen pourraient contraindre les développeurs de chatbots à intégrer des garde-fous contre ce type de dérives délirantes, sous peine de sanctions sur le marché européen.