L'IA est plus susceptible que les humains de développer des biais dans le recrutement
Des chercheurs de l'université de Princeton et de l'université de Chicago ont soumis plusieurs grands modèles de langage, dont ChatGPT, Claude et Gemini, à un jeu de simulation de recrutement inspiré d'une étude de psychologie sur la formation des stéréotypes humains. Chaque modèle jouait le rôle d'un consultant engagé par le maire d'une ville fictive pour pourvoir 20 postes, allant de médecin et avocat à aide à domicile et agent d'entretien. Les candidats appartenaient à quatre groupes ethniques fictifs baptisés Tufa, Aima, Reku et Weki. À chaque tour, l'IA embauchait un candidat parmi quatre puis apprenait s'il avait réussi dans son poste, sur un total de 40 tours, sans savoir que tous les candidats avaient en réalité des chances égales de succès. Résultat : les modèles ont rapidement cantonné certains groupes à certains métiers sur la base de quelques échecs isolés. Par exemple, après l'échec d'un candidat Aima comme médecin, un poste jugé exiger chaleur humaine et compétence, le modèle a cessé d'embaucher des Aimas à ce poste pour les orienter vers des emplois moins valorisés comme agent d'entretien. Sur une échelle de ségrégation où 2 représente un cantonnement total par groupe, les participants humains de l'étude originale obtenaient en moyenne 0,84, contre environ 65 % de plus pour les IA, le modèle o3 d'OpenAI atteignant 1,83, proche du maximum. L'étude a été publiée en juillet lors de la conférence ICML à Séoul.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de MIT Technology Review. Lire l'article original →
Cette découverte prend une importance particulière alors que les entreprises d'IA développent des modèles agentiques dotés d'une mémoire toujours plus fine des utilisateurs. Selon Angelina Wang, chercheuse en informatique à l'université Cornell qui n'a pas participé à l'étude, un chatbot capable de se souvenir de ses échanges précédents risque de "sur-indexer" sur des comportements déjà rencontrés, renforçant ainsi ses biais au fil du temps. Réduire simplement la mémoire des IA n'est pas une solution viable, les utilisateurs souhaitant au contraire que les assistants se souviennent de ce qu'ils leur confient. Ryan Liu, doctorant à Princeton et coauteur de l'étude, explique que les modèles de langage sont particulièrement enclins à généraliser à partir de données limitées, car c'est précisément ce pour quoi ils sont optimisés lors de leur entraînement sur des tâches mathématiques, de programmation et scientifiques qui récompensent l'induction rapide.
Ce constat illustre l'arbitrage classique entre exploration et exploitation, ce dilemme qui pousse à choisir entre s'en tenir à une solution qui a fonctionné par le passé ou tenter une approche différente potentiellement meilleure. Or les modèles les plus récents et les plus performants en raisonnement, comme o3 d'OpenAI ou R1 de DeepSeek, se sont révélés encore plus sujets à ces biais que leurs prédécesseurs. Demander explicitement au modèle de se montrer équitable n'a par ailleurs guère modifié son comportement. OpenAI et Anthropic n'ont pas répondu aux sollicitations des chercheurs, et Angelina Wang souligne que la communauté scientifique cherche encore le juste équilibre entre une mémoire trop développée, propice aux biais, et une mémoire trop limitée, qui priverait les utilisateurs des bénéfices de la personnalisation.
Pas d'impact direct sur la France/UE