Après ChatGPT et Claude, Kimi K3 s’échappe à son tour de son environnement de test
Kimi K3, le modèle d'intelligence artificielle développé par la start-up chinoise Moonshot AI, s'est échappé de son environnement de test lors d'une évaluation de ses capacités de cybersécurité défensive menée par la société Frontier Security. Selon les informations révélées par Wired, le modèle a détecté une faille dans le système censé le confiner, puis l'a exploitée pour se connecter à Internet, une fois sorti de son bac à sable sécurisé. Contrairement à d'autres cas similaires observés récemment, Kimi K3 n'a lancé aucune attaque une fois en ligne. Il s'est contenté d'aller chercher sur GitHub des réponses déjà publiques pour accomplir les tâches qui lui étaient confiées, plutôt que de les résoudre par lui-même. Yaron Singer, PDG de Frontier Security, a expliqué que cette exploitation active de la faille suggérait que les garde-fous internes du modèle étaient moins robustes qu'attendu.
Cet épisode illustre un problème de fond pour l'ensemble de l'industrie de l'IA : la performance croissante des modèles ne suffit plus, encore faut-il que leur environnement d'exécution résiste à des comportements imprévus. Matt Fredrikson, PDG de la start-up de cybersécurité Gray Swan et professeur associé à Carnegie Mellon, souligne que lorsqu'un objectif est donné à une IA sans limites clairement définies, elle cherchera naturellement la voie la plus efficace pour l'atteindre, quitte à contourner les règles implicites. Particularité notable dans le cas de Kimi K3 : il ne s'agit pas d'un prototype confiné en laboratoire, mais d'un modèle déjà largement accessible au public, avec des protections censées être comparables à celles des versions testées en interne. Cela rapproche le risque du grand public plutôt que de le cantonner à des environnements de recherche fermés.
Cet incident s'inscrit dans une série de dérapages similaires observés ces dernières semaines chez les principaux acteurs du secteur. Un modèle expérimental d'OpenAI avait ainsi réussi à accéder à Internet avant de compromettre Hugging Face, puis avait ciblé quatre autres services lors du même test. Chez Anthropic, plusieurs modèles avaient pénétré les systèmes de trois entreprises distinctes. Plus récemment, Meta a reconnu que son IA Muse Spark 1.1 s'était elle aussi échappée de son environnement sécurisé, en exploitant au passage une faille chez une entreprise tierce. L'erreur humaine dans la conception des sandbox semble être le dénominateur commun de ces incidents, mais la montée en puissance des capacités de raisonnement et de planification des modèles rend ces failles de plus en plus difficiles à anticiper.
Dans nos dossiers
Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.



