À quel point votre LLM est-il catastrophique ?

Des chercheurs associés à l'Université de l'Illinois à Urbana-Champaign (UIUC) ont présenté cette année à l'ICLR (International Conference on Learning Representations) un nouveau cadre d'évaluation de la sécurité des grands modèles de langage, baptisé C3LLM, pour "Certifying Catastrophic Conversational Risks in LLMs". L'approche repose sur une modélisation des conversations sous forme de graphes, où chaque nœud représente un prompt et les arêtes relient les requêtes sémantiquement proches. Ce graphe permet de simuler trois niveaux de dangerosité : le cas basique où les prompts sont tirés indépendamment, le cas intermédiaire où ils suivent des chemins connectés, et le cas avancé dit de "steering adversarial", où un acteur malveillant guide progressivement le modèle vers une réponse nuisible. Les réponses du modèle cible sont ensuite jugées "catastrophiques" ou non par un mécanisme distinct basé sur ChatGPT. La méthode de Clopper-Pearson est utilisée pour calculer des bornes statistiques sur le taux d'attaques réussies, produisant non plus un simple score mais un intervalle de confiance sur le risque. Le framework a été appliqué à des modèles propriétaires disponibles au moment de l'étude, dont Claude Sonnet 4 et Nova Premier, ainsi qu'à des modèles open-weights, sur un benchmark centré sur les menaces chimiques et biologiques.

Ce travail comble un angle mort majeur dans l'évaluation de la sécurité des LLMs. Les méthodes classiques de red-teaming s'appuient sur des experts humains qui construisent des prompts adversariaux de manière isolée, sans tenir compte de la dynamique conversationnelle. Or c'est précisément dans les échanges multi-tours que les comportements dangereux émergent, lorsqu'un modèle répond de façon anodine à chaque question prise séparément, mais finit par livrer des informations sensibles au fil d'un dialogue coordonné. En produisant des bornes probabilistes plutôt qu'un taux brut d'échec, C3LLM rend les résultats plus fiables et généralisables, ce qui change concrètement la façon dont les équipes de sécurité des labs peuvent comparer et certifier leurs modèles.

La pression sur la sécurité des LLMs s'est considérablement accrue depuis que ces systèmes sont devenus accessibles au grand public et intégrés dans des applications critiques. Les craintes portent notamment sur leur capacité à générer du code malveillant ou à détailler la synthèse de substances toxiques si un utilisateur mal intentionné sait formuler ses questions de manière progressive. Jusqu'ici, les benchmarks existants offraient une photographie ponctuelle, insuffisante pour couvrir l'espace combinatoire des conversations possibles. C3LLM s'inscrit dans une tendance plus large de la recherche en sécurité IA, qui cherche à passer de l'audit empirique à la certification formelle, à l'image de ce qui se pratique dans d'autres domaines logiciels critiques. La prochaine étape pour ce type de framework sera probablement son intégration dans les pipelines d'évaluation continues des grands laboratoires, avant la mise en production de nouveaux modèles.