Les benchmarks de l'IA manquent de fiabilité, Google veut y remédier
Google DeepMind expérimente pour la première fois une évaluation en double aveugle d'un modèle d'IA de pointe, en partenariat avec le Singapore AI Safety Institute. Le test repose sur un modèle Gemini Flash Lite et utilise une protection cryptographique baptisée Confidential Space, un environnement sécurisé conçu pour empêcher Google d'accéder aux questions du test tout en empêchant les évaluateurs d'accéder aux poids du modèle évalué. Ce dispositif technique vise à garantir qu'aucune des deux parties ne puisse influencer ou anticiper les résultats de l'évaluation, une contrainte que les méthodes de benchmark actuelles ne parviennent pas à imposer.
Résumé et traduction réalisés par Le Fil IA à partir de The Decoder. Lire l'article original →
Cette initiative répond à un problème de confiance grandissant autour des benchmarks d'IA, régulièrement critiqués pour leur manque de rigueur et leur vulnérabilité à la manipulation, que ce soit par contamination des données d'entraînement ou par optimisation ciblée des modèles sur des jeux de tests connus à l'avance. Si le pilote réussit, il pourrait établir un nouveau standard pour des évaluations infalsifiables, un enjeu crucial à mesure que les modèles d'IA gagnent en puissance et que les décisions de déploiement, d'investissement ou de régulation s'appuient de plus en plus sur leurs performances mesurées.
Le projet illustre une tendance plus large de l'industrie vers une évaluation indépendante et vérifiable des systèmes d'IA, alors que les grands laboratoires font face à des accusations récurrentes de conflit d'intérêts lorsqu'ils publient leurs propres résultats de benchmark. L'implication d'un institut de sécurité gouvernemental, celui de Singapour, marque aussi un pas vers une supervision tierce plus formalisée. Si cette méthode s'avère concluante avec Gemini Flash Lite, elle pourrait être étendue à des modèles plus puissants et inspirer d'autres laboratoires comme OpenAI, Anthropic ou Meta à adopter des protocoles similaires.
Pas d'impact direct sur la France/UE