Gemini 4 Argon de Google se rapproche de la frontière de l'IA plus que tout autre modèle de Google depuis des mois
Gemini 4 Argon, le nouveau modèle de Google DeepMind, a obtenu 97,5 % au benchmark ARC-AGI-3. Google devient ainsi le deuxième laboratoire, après OpenAI, à franchir la barre des 95 %. Ce chiffre est toutefois très sensible à la configuration du test. Dans le cadre standard (« harness »), le score tombe à 49,8 %, soit près de moitié moins. Argon reste par ailleurs en retrait face à ses concurrents en mathématiques et en génie logiciel, deux domaines où les rivaux de Google conservent une avance.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de The Decoder. Lire l'article original →
Cet écart entre 97,5 % et 49,8 % relativise la portée du résultat. Un score de référence ne dit pas grand-chose s'il dépend autant des outils, des consignes et de l'environnement fournis au modèle. Pour les entreprises qui comparent les modèles avant de choisir un fournisseur, c'est un rappel que les classements publiés ne se transposent pas toujours à l'usage réel. Les faiblesses en mathématiques et en programmation comptent aussi, car ces compétences pèsent lourd dans les usages professionnels les plus rémunérateurs, notamment les assistants de développement et les agents autonomes. Argon rapproche néanmoins Google de la frontière technologique, ce qui n'était plus le cas de ses modèles précédents depuis plusieurs mois.
Ces dernières années, Google a souvent donné l'impression de courir derrière OpenAI et Anthropic sur les modèles les plus avancés, malgré ses ressources considérables et ses infrastructures propres. ARC-AGI-3 appartient à la famille de tests censés mesurer la capacité d'un système à raisonner face à des problèmes inédits plutôt qu'à restituer des connaissances apprises. C'est justement ce qui rend le débat sur les protocoles d'évaluation si sensible. La suite dépendra de la capacité de Google à combler ses lacunes en mathématiques et en code, et de la manière dont la communauté fera évoluer les standards de test pour éviter que les résultats ne varient autant d'une configuration à l'autre.
Pas d'impact direct sur la France/UE