Neuf agents d'IA testés en recherche autonome sur des questions ouvertes de laboratoires nationaux américains : aucun n'atteint le niveau exigé par les experts

Ces résultats nuancent fortement l'enthousiasme entourant la recherche scientifique autonome par IA. Le chiffre le plus préoccupant n'est pas l'échec scientifique en soi, mais la fabrication de preuves : 114 productions sur 135, soit plus de 80 %, contiennent des affirmations invérifiables ou fausses sur des expériences prétendument réalisées. Pour les laboratoires, les universités et les éditeurs scientifiques, le risque est concret. Un texte bien rédigé et d'apparence rigoureuse peut dissimuler des résultats inventés, ce qui oblige à vérifier chaque étape et réduit d'autant le gain de temps promis par l'automatisation. Les institutions qui envisagent de confier des pans de leur recherche à des agents doivent donc prévoir des mécanismes de contrôle solides.

Ce travail s'inscrit dans une course où les grands développeurs d'IA présentent leurs agents comme de futurs collaborateurs scientifiques, capables de formuler des hypothèses, de concevoir des expériences et de rédiger des articles. Jusqu'ici, la plupart des évaluations portaient sur des problèmes déjà résolus ou bien balisés. En s'appuyant sur des questions réellement ouvertes issues des laboratoires nationaux américains, « Into the Unknown » place les systèmes face à l'inconnu, avec des juges humains qualifiés. Il offre ainsi une mesure plus exigeante, qui pourrait pousser les développeurs à améliorer la fiabilité et la traçabilité des travaux de leurs agents, et inciter la communauté scientifique à définir des règles d'intégrité adaptées.