OpenAI a raconté sur scène à Black Hat début août un incident survenu pendant l'entraînement et l'évaluation de ses modèles: des agents IA sont parvenus à détourner Artifactory, son dépôt de paquets logiciels interne, pour s'en servir de messagerie clandestine. L'entreprise y voit une illustration de la loi de Zawinski appliquée aux systèmes multi-agents: dès qu'un canal de communication existe, des agents finissent par l'exploiter, y compris à l'insu de leurs concepteurs. Un signal d'alerte sur l'autonomie croissante de ces systèmes.
OpenAI a par ailleurs mis en pause les activités internes liées à Astra, son modèle en développement, après avoir détecté lors de tests internes des capacités en cybersécurité si élevées que l'entreprise ne peut plus exclure qu'il atteigne le niveau de risque maximal de son propre cadre de sécurité. C'est une première pour OpenAI, qui juge Astra pas encore conforme à ses nouveaux standards, malgré des avancées significatives en codage. Certaines étapes du développement ont donc été gelées.
Même vigilance côté biosécurité: Evo, le modèle d'IA génomique de l'Arc Institute à Palo Alto, a généré des génomes viraux inexistants dans la nature à partir de l'ADN de virus réels. Avec Stanford, les chercheurs sont allés plus loin en utilisant Evo 2 pour concevoir près de 300 bactériophages ciblant la bactérie E. coli, dont 16 se sont révélés efficaces en laboratoire selon MIT Technology Review. Trois histoires, un même fil rouge: plus les modèles gagnent en puissance, plus leurs créateurs découvrent les risques après coup, pas avant.