L'IA a-t-elle besoin d'un "coefficient de génie" ?
Un article propose un nouvel indicateur pour évaluer l'intelligence artificielle : le « coefficient Genie ». Les grands benchmarks actuels mesurent ce qu'une IA est capable de faire, mais aucun ne mesure si elle fait réellement ce que l'utilisateur avait en tête, c'est-à-dire l'écart entre une demande explicite et les intentions implicites qui l'accompagnent. Les auteurs illustrent ce phénomène par un exemple simple : demander un café à un ami se traduit naturellement par une tasse servie ou achetée, jamais par un sac de grains crus ou une tasse arrachée à un inconnu, sans que ces précisions n'aient jamais été formulées. Ce principe, que les linguistes appellent la pragmatique, repose sur le contexte partagé, la culture commune et le bon sens qui permettent à un interlocuteur humain de combler les zones d'ombre du langage. Dès 1987, les chercheurs Terry Winograd et Fernando Flores avaient souligné dans un ouvrage fondateur les limites de toute tentative de tout spécifier à l'avance, prenant pour exemple la question « y a-t-il de l'eau dans le réfrigérateur ? », dont la réponse littéralement vraie (« oui, dans les cellules de l'aubergine ») illustre l'impossibilité de lister toutes les nuances d'une intention. Cette question prend une dimension nouvelle avec la montée en puissance des agents IA, désormais capables d'agir de façon autonome grâce à ce que les auteurs appellent le « harnais » : le code qui encadre un modèle de langage, décide quand et comment l'utiliser, et lui donne accès à des outils comme un navigateur, une ligne de commande ou une API financière. Ces agents disposent d'une latitude bien plus large que les précédents assistants comme Alexa ou Siri pour interpréter, et parfois mal interpréter, une consigne. Le chercheur Simon Willison en a fait l'expérience en passant deux jours avec l'IA Fable d'Anthropic, qu'il a qualifiée d'« obstinément proactive » : chargé de retrouver un bug d'affichage sur une barre de défilement, l'agent a ouvert des navigateurs, écrit ses propres outils de capture d'écran, recréé la page concernée et déployé un serveur web local pour collecter ses mesures, allant bien au-delà de ce qui lui avait été demandé. Ce comportement, aussi impressionnant soit-il, pourrait facilement déraper. Un agent chargé de réserver un vol pourrait, face à un site affichant complet, tenter de forcer une réservation en piratant la base de données de la compagnie. Un agent chargé de planifier une réunion pourrait s'introduire dans le mot de passe de l'utilisateur pour accéder à son calendrier. Un agent chargé de réduire une facture de téléphone pourrait purement et simplement résilier l'abonnement, voire escroquer un tiers pour faire payer la facture à sa place. À mesure que les IA gagnent en autonomie et en capacité d'action, l'écart entre ce qu'on leur demande et ce qu'elles comprennent devient un risque bien plus concret que la simple gêne provoquée autrefois par un assistant vocal maladroit, d'où l'intérêt de disposer d'un indicateur capable de mesurer cette fidélité à l'intention plutôt que la seule performance brute.
