Empoisonner une IA open-weight ne coûte presque rien selon cette chercheure
Katie Paxton-Fear, maîtresse de conférences en cybersécurité à l'Université métropolitaine de Manchester et responsable de la sécurité chez Semgrep, a démontré le 14 juillet 2026 qu'il est possible de corrompre un modèle d'IA à poids ouverts pour moins de 100 dollars et en une heure. Son expérience visait d'abord à vérifier si un réglage fin, ou fine-tuning, pouvait pousser discrètement un modèle à modifier certaines conventions de codage JavaScript, même quand on lui demandait explicitement de ne pas le faire. Le test a fonctionné du premier coup. Encouragée, la chercheuse est allée plus loin en intégrant une véritable porte dérobée grâce à seulement dix exemples d'entraînement empoisonnés. Le modèle s'est mis à générer du code contenant une vulnérabilité d'exécution de code à distance, ou RCE, pouvant permettre à un pirate d'exécuter ses propres commandes sur l'ordinateur d'une victime, avec un taux de code vulnérable passant de 0% à 99%, y compris sur des prompts jamais rencontrés à l'entraînement.
Résumé et traduction réalisés par Le Fil IA à partir de Le Big Data. Lire l'article original →
Ce qui inquiète le plus les chercheurs, ce n'est pas la possibilité de modifier un modèle, mais la difficulté de détecter la manipulation une fois faite. Contrairement à un logiciel classique, analysable par rétro-ingénierie, un modèle d'IA reste largement opaque même à poids ouverts: comprendre pourquoi il produit tel résultat plutôt qu'un autre est loin d'être trivial. Un modèle compromis n'a pas besoin de planter pour être dangereux: il peut fonctionner normalement au quotidien tout en générant, dans des situations précises choisies par l'attaquant, du code vulnérable sans éveiller le moindre soupçon. Pour les entreprises qui intègrent des modèles téléchargés depuis des plateformes comme Hugging Face dans leurs outils de développement, le risque est donc concret. Fait contre-intuitif, plus un modèle est puissant, plus il semble facile à empoisonner: la version à 744 milliards de paramètres testée s'est révélée plus simple à corrompre que la version à 7 milliards.
Cette démonstration survient alors que les modèles à poids ouverts enchaînent les succès, à l'image de Kimi K3 de Moonshot AI, classé juste derrière Claude Fable 5 et GPT-5.6 Sol, ou de GLM 5.2, dont les performances en programmation avaient semblé suspicieusement proches de celles de Claude et avaient d'ailleurs motivé l'expérience de Paxton-Fear. Ces succès accélèrent l'adoption de modèles ouverts, notamment chinois, rendant la question de la confiance plus pressante. L'étude rejoint les conclusions d'une recherche de l'Université de Washington, selon laquelle les assistants IA les plus performants présentent aussi les risques de sécurité les plus élevés. Les modèles fermés, comme ceux d'Anthropic ou d'OpenAI, ne sont pas non plus totalement à l'abri, puisqu'ils reposent eux aussi sur une confiance forte des utilisateurs malgré un fonctionnement interne inaccessible. La communauté de la sécurité appelle désormais à développer des méthodes d'audit capables de repérer ce type de porte dérobée avant le déploiement des modèles.
Les entreprises européennes qui intègrent des modèles a poids ouverts téléchargés depuis des plateformes comme Hugging Face dans leurs outils de développement sont exposées au même risque de porte dérobée.