Les modèles de pointe savent-ils ignorer un leurre ? Elorian teste le raisonnement visuel
Elorian, la jeune pousse fondée par l'ancien chercheur de Google DeepMind Andrew Dai, a lancé ce mois-ci Glimpse, son premier modèle de raisonnement visuel, présenté comme « une nouvelle catégorie de modèle de pensée visuelle » capable de raisonner sur le monde physique à partir de ce qu'il voit. En parallèle, l'entreprise a co-publié avec la société de données Mercor un nouveau test, DecoyCount, qui mesure si un modèle compte réellement les objets ou s'appuie sur des raccourcis visuels et des heuristiques de substitution. Selon l'article de recherche associé, aucun modèle de pointe ne dépasse 50 % de réussite : le meilleur, GPT-6 Astra, atteint 43,17 %, devant Gemini-3.8-flash (32,71 %), Qwen3.8-max (28,31 %) et Claude-Fable-5.1 (25,22 %), chacun moyenné sur trois essais. Glimpse, absent du papier, a obtenu 50,48 % sur les 1 660 items du test lors d'une évaluation interne, soit environ 7 points de plus que GPT-6 Astra. Andrew Dai précise que ce score provient d'une seule exécution du modèle, sans agent ni outils, et que les images d'évaluation ont été exclues de l'entraînement, une vérification de contamination n'ayant décelé aucun recoupement.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de Latent Space. Lire l'article original →
L'intérêt de DecoyCount tient à sa conception : il met en évidence sept mécanismes d'échec de comptage interprétables et teste conjointement la perception et le raisonnement, ce que la plupart des benchmarks ne distinguent pas. Dai donne l'exemple d'une pomme devant un miroir : un modèle peut rater la pomme (problème de vision) ou compter la pomme et son reflet comme deux objets (problème de jugement). En ne vérifiant que le nombre final, les tests classiques traitent ces deux erreurs de la même façon, ce qui empêche d'identifier la cause réelle et donc de la corriger. Les auteurs en tirent une conclusion nette : un raisonnement général plus puissant ne se traduit pas automatiquement par un raisonnement visuel bien aligné. Pour les professionnels qui déploient des modèles multimodaux dans des tâches de comptage, d'inventaire ou d'inspection, le résultat rappelle que même les systèmes les plus avancés se trompent plus d'une fois sur deux face à des leurres visuels. Il faut toutefois rester prudent, puisque le score de Glimpse est auto-déclaré et obtenu dans des conditions différentes de celles des autres modèles.
Elorian est sortie de l'ombre en avril avec 55 millions de dollars de financement d'amorçage, codirigé par Striker Venture Partners, Menlo Ventures et Altimeter Capital. Son cofondateur Andrew Dai n'est pas un nouveau venu : en 2015, chez Google, il a cosigné avec Quoc Le l'article « Semi-supervised sequence learning », qui annonçait l'approche de pré-entraînement suivi d'un ajustement fin, ensuite adoptée par les grands modèles de langage. Il a ensuite travaillé chez Google DeepMind sur GLaM, PaLM 2 puis Gemini, avant de quitter l'entreprise cette année. Sa démarche s'inspire du concept psychologique de pensée visuelle : face à un problème spatial, comme imaginer un canapé dans son salon avant de l'acheter, les humains génèrent et retouchent mentalement des images. Elorian entend transposer cette capacité aux machines et se positionne ainsi face aux modèles de pointe généralistes comme aux modèles du monde, dans un paysage déjà très encombré.
Pas d'impact direct sur la France/UE