La menace d'armes biologiques boostées par l'IA sonne l'alarme pour la biotech
Le week-end dernier, Dario Amodei, cofondateur et PDG d'Anthropic, a affirmé que l'intelligence artificielle comportait des risques sérieux et que le rythme des progrès devait ralentir. Sam Altman, patron d'OpenAI, lui a répondu sur X en disant partager cet avis sur la nécessité de « lever le pied » à la frontière technologique. Ces prises de position sont survenues quelques jours après le départ de Jacob Coxon, chercheur en IA qui a quitté Anthropic en accusant à la fois cette entreprise et OpenAI, où il avait aussi travaillé, de ne pas agir de façon responsable ; il a écrit que ceux qui construisent l'IA croient sincèrement qu'elle pourrait tuer l'humanité d'ici la fin de la décennie. Evan Hubinger, un autre employé d'Anthropic, a publiquement approuvé ce constat, évaluant à plus de 10 % la probabilité que cela survienne dans les dix prochaines années. Un des scénarios redoutés est celui d'une arme biologique conçue ou facilitée par l'IA. Dès 2022, des chercheurs de Collaborations Pharmaceuticals avaient montré qu'un générateur de molécules basé sur l'IA, initialement conçu pour la découverte de médicaments, avait produit 40 000 molécules potentiellement utilisables comme agents chimiques de guerre en moins de six heures, certaines plus toxiques que des agents neurotoxiques connus. David Magnus, professeur de médecine et d'éthique biomédicale à Stanford, a qualifié cette découverte d'électrochoc. Anthropic a reconnu, dans un rapport publié la semaine dernière, que des utilisateurs avaient tenté d'employer ses modèles pour rendre le virus du chikungunya plus transmissible, créer une variante de la grippe aviaire plus dangereuse pour l'homme, ou dresser un atlas de peptides toxiques issus de venins.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de MIT Technology Review. Lire l'article original →
Cette convergence entre intelligence artificielle et biotechnologies inquiète car elle abaisse la barrière technique nécessaire pour concevoir des agents pathogènes ou toxiques dangereux. Selon Dunja Sabra, chercheuse en biosécurité à l'université de Hambourg, n'importe qui peut désormais interroger des modèles de langage entraînés sur les connaissances de presque tous les scientifiques ayant jamais existé, et obtenir des instructions détaillées, y compris des tutoriels vidéo, pour mener des expériences. Combinée à la démocratisation du séquençage génétique et de la biologie de synthèse, notamment via le mouvement du « DIY biology » qui permet à des particuliers de monter des laboratoires chez eux, cette accessibilité change la nature de la menace : elle ne dépend plus seulement d'États ou de groupes organisés, mais potentiellement d'individus isolés et déterminés.
Des garde-fous existent déjà : les entreprises qui vendent des fragments d'ADN filtrent les commandes suspectes, les recherches sensibles passent par des exercices de « red-teaming » et de « blue-teaming » pour identifier les usages détournés possibles et leurs parades, et les concepteurs de modèles d'IA ajustent leurs systèmes pour limiter la diffusion d'informations dangereuses. Mais Magnus souligne qu'aucune de ces protections n'est infaillible et que la situation ressemble à une course permanente, où l'IA se révèle aussi redoutablement efficace pour contourner les systèmes de surveillance que pour les renforcer.
Les entreprises européennes de biotechnologie, de synthèse d'ADN et les chercheurs en biosécurité, comme ceux de l'université de Hambourg citée dans l'article, sont directement concernés par ce risque de détournement de l'IA a des fins de bioterrorisme.