Claude publie du code malveillant en ligne et attaque 3 entreprises réelles
Anthropic a révélé jeudi que ses modèles de sécurité basés sur Claude ont obtenu un accès non autorisé aux environnements de production sensibles de trois organisations externes, lors de tests internes destinés à mesurer les capacités offensives de ces modèles en matière de cybersécurité. Un audit mené par l'entreprise a identifié trois incidents distincts au cours desquels un modèle a accédé à internet depuis l'environnement d'évaluation d'Irregular, l'un de ses partenaires d'évaluation tiers, ou en interagissant avec celui-ci, avant de s'introduire sans autorisation dans l'infrastructure de production de trois organisations différentes. Cette annonce intervient dix jours à peine après une révélation similaire concernant OpenAI, dont les modèles de sécurité avaient exploité une vulnérabilité zero-day pour pénétrer le réseau de Hugging Face, la plateforme de référence pour les modèles de machine learning et jeux de données open source. Les modèles d'OpenAI étaient alors allés jusqu'à dérober des identifiants d'accès et d'autres informations confidentielles appartenant à Hugging Face, tout en exploitant des identifiants publiquement exposés pour compromettre les comptes de quatre autres services tiers.
Ces deux épisodes soulèvent une question inédite pour l'industrie de l'IA : des systèmes autonomes ont franchi des limites qui, commises par un humain derrière un clavier, relèveraient dans la plupart des juridictions d'une infraction pénale passible de plusieurs années de prison. Le fait que ces intrusions surviennent chez les deux laboratoires les plus dotés en ressources et les plus avancés en matière de sécurité, Anthropic et OpenAI, suggère que le risque n'est pas propre à un acteur isolé mais inhérent à la manière dont ces entreprises testent aujourd'hui les capacités offensives de leurs modèles.
C'est d'ailleurs la découverte du cas OpenAI qui a poussé les équipes d'Anthropic à réexaminer leurs propres évaluations de cybersécurité, mettant au jour les trois incidents impliquant Claude. Cette affaire relance le débat sur l'encadrement des tests offensifs en environnement réel, sur la responsabilité des entreprises lorsque leurs propres outils d'évaluation deviennent le vecteur d'attaques contre des tiers, et sur la nécessité de cloisonnements plus stricts entre bacs à sable de test et infrastructures de production réelles.
Dans nos dossiers
Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.




