Le directeur IA de Tencent prévient que des armes biologiques par IA arrivent, mais fermer les modèles n'est pas la solution
Vinces Yao Shunyu, directeur scientifique de l'IA chez Tencent, avertit que l'intelligence artificielle sera bientôt capable de concevoir des armes biologiques. Il défend une voie intermédiaire entre modèles ouverts et modèles fermés. Selon lui, les filtres de sécurité des systèmes open source sont faciles à neutraliser par une technique appelée « abliteration », qui supprime les comportements de refus du modèle. À l'inverse, des modèles fermés comme Claude d'Anthropic bloquent parfois de façon trop agressive des demandes légitimes. Pour son prochain modèle à poids ouverts, Hy4, Tencent retire directement des données d'entraînement les connaissances dangereuses en matière de piratage informatique.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de The Decoder. Lire l'article original →
L'enjeu est concret pour toute l'industrie. Si un filtre ajouté après coup peut être contourné en quelques manipulations, il ne protège pas réellement contre un usage malveillant dès lors que les poids du modèle sont publics. Filtrer en amont, au niveau des données, vise à empêcher le modèle d'acquérir certaines capacités plutôt que de lui apprendre à les taire. Pour les chercheurs, les entreprises et les développeurs, cela pose la question d'un équilibre : des garde-fous trop stricts pénalisent des usages scientifiques ou de sécurité informatique légitimes, tandis que des garde-fous trop faibles laissent la porte ouverte aux abus.
Ce positionnement s'inscrit dans un débat qui divise le secteur depuis plusieurs années. Les laboratoires américains privilégient généralement des modèles fermés, accessibles par API et contrôlés par l'éditeur, en invoquant les risques biologiques et cyber. De nombreux acteurs chinois, dont Tencent, misent au contraire sur les poids ouverts pour gagner en influence et en adoption. En choisissant de traiter le problème à la racine, dans les données d'entraînement, Tencent cherche à concilier ces deux logiques. Reste à voir si cette approche résistera à l'épreuve des faits, et si d'autres développeurs de modèles ouverts l'adopteront, notamment pour les risques biologiques que Vinces Yao Shunyu juge imminents.
Le débat sur les modèles à poids ouverts et leurs garde-fous concerne l'AI Act européen et les développeurs de modèles ouverts dans l'UE, sans mesure directe annoncée.
Un filtre ajouté après coup sur un modèle à poids ouverts, c'est de la décoration : l'abliteration l'enlève en quelques minutes. Du coup, Tencent a raison sur le diagnostic, la sécurité d'un modèle ouvert se joue dans les données d'entraînement ou nulle part. Bon, sur le papier, retirer le savoir dangereux avant l'apprentissage est la seule approche qui tient. Reste à voir si on sait vraiment trier ce savoir sans lobotomiser le modèle sur la cybersécurité légitime, et ça, personne ne l'a prouvé en prod.