Aucun agent IA ne dépasse 12 % sur le nouveau benchmark de tâches professionnelles réelles de SemiAnalysis
SemiAnalysis a lancé GDPx, un nouveau benchmark qui soumet des agents d'IA à des simulations de travail intellectuel réel, du design de puces à la finance quantitative en passant par d'autres métiers spécialisés. Les résultats sont modestes: aucun modèle ne dépasse 12 % de réussite. Claude Opus 5.5 arrive en tête, de justesse, devant Gemini 4 Carbon. Le test vise à mesurer non pas des connaissances ou des capacités de raisonnement isolées, mais la faculté des agents à mener à bien des tâches professionnelles complètes, telles qu'elles se présentent dans les entreprises.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de The Decoder. Lire l'article original →
Ce score plafonné à 12 % tempère le discours dominant sur l'automatisation imminente des métiers qualifiés. Pour les entreprises qui envisagent de confier des processus entiers à des agents, le message est clair: même les meilleurs modèles actuels échouent dans l'immense majorité des cas sur des missions réalistes. Le faible écart entre les deux premiers montre aussi que les grands laboratoires restent très proches les uns des autres, sans qu'aucun ne s'impose nettement sur ce terrain. Les résultats offrent en outre aux décideurs un repère plus proche de l'usage réel que les classements habituels, souvent saturés.
Le benchmark fait toutefois l'objet de critiques. Des observateurs soulignent que chaque domaine ne comporte qu'un petit nombre de tâches, ce qui fragilise la portée statistique des scores, et que les conditions de test ne sont pas homogènes d'un modèle à l'autre, ce qui peut avantager certains agents. Ces réserves rappellent la difficulté d'évaluer des agents sur des tâches longues et ouvertes, où les résultats dépendent beaucoup de l'environnement et de la méthode de notation. SemiAnalysis, cabinet réputé pour ses analyses des semi-conducteurs et de l'infrastructure d'IA, pourrait être amené à élargir le jeu de tâches et à harmoniser les protocoles pour renforcer la crédibilité de GDPx.
Pas d'impact direct sur la France/UE