VLMs et raisonnement spatial : MindTopo évalue les capacités des modèles
Une nouvelle étude introduit MindTopo, un benchmark conçu pour évaluer si les grands modèles multimodaux (VLM) possèdent une véritable intuition de la topologie en trois dimensions, c'est-à-dire la capacité à comprendre des relations structurelles comme la connectivité, la séparation, l'ordre, l'enfermement (inside/outside) et les nœuds, indépendamment des distances ou des angles exacts. Le benchmark s'organise autour de cinq catégories inspirées de la classification cognitive de Piaget: la continuité (un chemin reste-t-il ininterrompu), la séparation (des éléments proches forment-ils une seule structure ou des parties distinctes), l'ordre (comment les éléments s'arrangent le long d'une transformation), l'enfermement (une frontière crée-t-elle un intérieur et un extérieur) et les nœuds (une corde est-elle réellement nouée ou seulement emmêlée en apparence). Chaque catégorie est testée à deux niveaux: des tâches de raisonnement, où le modèle observe une scène statique et répond à une question (deux points d'un labyrinthe sont-ils reliés, des moutons sont-ils à l'intérieur d'un enclos), et des tâches de planification, où le modèle doit agir dans un environnement simulé, par exemple faire pivoter des segments de tuyaux, tracer un chemin séparateur, réarranger des blocs ou démêler des cordes, sans jamais pouvoir faire passer un brin à travers un autre puisque les actions illégales sont bloquées par le simulateur.
Résumé et traduction réalisés par Le Fil IA à partir de Microsoft Research. Lire l'article original →
Les résultats montrent un écart net entre la reconnaissance statique et la planification interactive: les modèles multimodaux actuels identifient assez bien un chemin connecté, une zone enfermée ou un nœud sur une image fixe, mais cette compréhension s'effondre dès qu'il faut la maintenir à travers une séquence d'actions. Les échecs surviennent surtout au moment de la planification, quand les modèles perdent le fil des relations structurelles à mesure que la scène évolue, ou proposent des actions qui violent des contraintes physiques élémentaires. Ce constat révèle une faiblesse critique pour toute application impliquant de la robotique ou des environnements interactifs, où savoir ce qui reste connecté, enfermé, ordonné ou noué conditionne directement la fiabilité des décisions prises par un système autonome.
Ce travail met en lumière un angle mort des évaluations actuelles de l'IA multimodale, largement centrées sur des propriétés euclidiennes comme la distance, la direction, la taille ou la position relative, au détriment de la topologie, pourtant considérée en sciences cognitives comme une couche fondamentale de la compréhension spatiale humaine. Les scènes de MindTopo sont générées par des simulateurs contrôlés offrant une vérité terrain exacte et une difficulté ajustable, ce qui permet de mesurer précisément où et pourquoi les modèles échouent. En creusant cet écart entre perception et action, MindTopo ouvre une piste concrète pour renforcer les futurs systèmes destinés à la robotique et aux environnements dynamiques, là où une compréhension spatiale purement statique ne suffit plus.
Pas d'impact direct sur la France/UE