Il faisait ses courses tranquillement, l’IA du magasin le prend pour un voleur
Matt Arnold, 46 ans, organisateur de spectacles d'humour à Londres, faisait ses courses dans un supermarché Sainsbury's du quartier d'East Dulwich, dans le sud-est de la capitale britannique, avant une soirée prévue au club de football de Dulwich Hamlet. Après avoir scanné ses articles et sa carte de fidélité Nectar, il a été interpellé par deux responsables du magasin, qui lui ont annoncé qu'il ne pouvait pas être servi en raison d'un incident antérieur et qu'il devait quitter les lieux. En sortant, Arnold a aperçu son visage entouré d'un cercle rouge sur un écran de vidéosurveillance : il venait de comprendre qu'il avait été signalé par Facewatch, le système de reconnaissance faciale utilisé par l'enseigne. Le lendemain, Sainsbury's l'a contacté pour s'excuser et a suspendu temporairement l'outil dans ce magasin, le temps de mener une enquête interne.
Résumé et traduction réalisés par Le Fil IA à partir de Le Big Data. Lire l'article original →
Cet épisode illustre les risques concrets que fait peser la reconnaissance faciale sur des clients ordinaires, injustement assimilés à des suspects sans possibilité immédiate de se défendre. Ce qui inquiète particulièrement Arnold, c'est moins la défaillance technique que l'attitude du personnel, qui a suivi l'alerte de la machine sans la remettre en question. Sainsbury's affirme que Facewatch revendique un taux de précision de 99,98 %, mais que chaque alerte doit être vérifiée par un responsable formé avant toute intervention, ce qui n'aurait pas été fait correctement ici. L'enseigne parle d'une erreur humaine plutôt que d'un défaut de l'algorithme, une distinction qui, pour les personnes visées à tort, ne change rien à l'humiliation vécue en public. L'affaire relance le débat sur la fiabilité et l'encadrement de ces technologies déployées à grande échelle dans le commerce de détail britannique.
Le cas d'Arnold n'est pas isolé. En septembre dernier, Warren Rajah avait déjà été expulsé d'un magasin Sainsbury's à Elephant and Castle après une identification erronée par Facewatch, et des incidents similaires ont été signalés dans des enseignes comme Home Bargains et B&M. Sainsbury's précise que les alertes restent visibles sur les appareils du personnel pendant une heure maximum et que les erreurs doivent être consignées, tandis que Facewatch qualifie la suspension à East Dulwich de simple mesure de précaution, le temps de former davantage le personnel. Pour Arnold, limiter la réponse à un seul magasin ne règle pas le problème de fond : la confiance aveugle accordée aux décisions algorithmiques par des employés peu formés à les contester. Il redoute surtout les conséquences pour des personnes moins armées que lui pour faire valoir leurs droits face à une accusation infondée, alors que Facewatch se généralise dans les commerces britanniques sans cadre de contrôle clairement établi.
Cet incident britannique nourrit indirectement le débat européen sur l'encadrement strict de la reconnaissance faciale dans les lieux publics prévu par l'AI Act.