Renforcer l'évaluation de la sécurité de l'IA grâce à un examen indépendant par des tiers
Amazon a confié à l'AVERI (AI Verification and Evaluation Research Institute), organisation indépendante à but non lucratif spécialisée dans l'évaluation tierce des systèmes d'IA, un audit de ses jeux de données internes d'évaluation de la sécurité. L'équipe, dirigée par son directeur exécutif Miles Brundage et composée des chercheurs Sean McGregor, A. Feder Cooper et George Balston, a examiné un échantillon aléatoire de prompts issus de la suite de tests d'Amazon, qui couvre la génération de contenus nuisibles, les risques de cybersécurité, la protection de la vie privée et le respect du droit d'auteur. Il s'agissait d'évaluer non les réponses des modèles, mais la qualité des tests eux-mêmes, sous l'angle de la diversité, de la calibration de la difficulté et de la solidité méthodologique, sans aucune intervention de l'équipe d'évaluation d'Amazon. L'AVERI a confirmé trois points forts : une couverture thématique large, alignée sur les catégories de sécurité publiquement documentées (dont l'automutilation et la cybersécurité) ; une grande variété d'approches, avec des registres d'écriture professionnels ou familiers, des conversations à un ou plusieurs tours et des contenus originaux ; et un faible risque de contamination, les prompts paraissant originaux plutôt que tirés de jeux de données publics, ce qui limite les fuites vers les données de préentraînement.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de Amazon Science. Lire l'article original →
L'audit a aussi relevé plusieurs axes d'amélioration. L'AVERI recommande d'étendre plus uniformément les prompts multilingues à toutes les catégories de risque et de varier davantage leur structure. Elle préconise d'ajouter des prompts adversariaux en plusieurs étapes, afin de sonder un raisonnement plus profond et de mieux refléter les tentatives de détournement sophistiquées observées dans la réalité. Elle a repéré un petit nombre de prompts contenant des références temporelles périssables et quelques cas limites dont les critères de notation pouvaient être clarifiés. Enfin, elle note que certains modèles peuvent refuser une requête à cause d'indices superficiels, de sorte que la réussite du test ne garantit pas un comportement sûr face à des situations inédites. Ce dernier point touche à la valeur même des évaluations de sécurité : un test trop facile produit un faux sentiment de confiance.
Amazon affirme avoir déjà intégré ces retours. Les jeux de test ont été actualisés, avec la suppression des prompts redondants et l'ajout de scénarios adversariaux plus difficiles. Un cadre de calibration à niveaux de difficulté a été introduit pour que les évaluations comprennent des cas qui poussent réellement les limites des modèles. Une revue trimestrielle doit détecter l'obsolescence, réduire les répétitions et intégrer les nouvelles formes d'attaque, et la couverture multilingue a été étendue à tous les domaines de risque. Le groupe présente cette démarche comme une bonne pratique émergente : confier à des tiers indépendants l'examen non seulement des résultats des modèles, mais aussi de la qualité du processus d'évaluation. Elle s'inscrit dans un débat plus large sur la crédibilité des tests de sécurité des modèles de pointe, aujourd'hui menés presque exclusivement par les développeurs eux-mêmes, et sur le besoin d'une vérification externe à mesure que les capacités progressent.
Pas d\'impact direct sur la France/UE