Gemini 4 Carbon prend la tête de MathArena, mais coûte 15 fois plus cher que GPT-6.1 Sol
Pour la première fois depuis un moment, aucun modèle d'OpenAI ne domine MathArena, le benchmark qui évalue les capacités des intelligences artificielles en mathématiques. Gemini 4 Carbon, de Google, prend la première place du classement, tandis que Fable 5.2, d'Anthropic, a lui aussi dépassé GPT-6.1 Sol, le modèle d'OpenAI qui occupait jusqu'ici le sommet. Cette avance a toutefois un prix : Gemini 4 Carbon coûte environ quinze fois plus cher que GPT-6.1 Sol, et Fable 5.2 reste lui aussi nettement plus onéreux. Lors des tests, Gemini a par ailleurs ignoré la limite de temps imposée et n'a presque jamais renoncé face à une tâche.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de The Decoder. Lire l'article original →
Ces résultats montrent que la performance brute ne suffit plus à départager les modèles : le rapport entre qualité et coût devient un critère décisif. Pour les entreprises et les chercheurs qui utilisent l'IA pour des problèmes mathématiques complexes, un écart de prix d'un facteur quinze peut rendre le modèle le plus performant inaccessible à grande échelle. Le comportement de Gemini soulève aussi une question de comparabilité, car un modèle qui dépasse le temps alloué et persiste plus longtemps consomme davantage de ressources, ce qui explique en partie la facture.
Ce changement de leader s'inscrit dans une rivalité de plus en plus serrée entre OpenAI, Google et Anthropic, qui se disputent les meilleures places sur les benchmarks de raisonnement. OpenAI a longtemps tenu la tête sur MathArena, et sa perte de position pourrait l'inciter à répondre par une nouvelle version. À l'inverse, GPT-6.1 Sol conserve un argument de poids avec son coût réduit, qui pourrait séduire les utilisateurs soucieux de rentabilité.