Robostral Navigate de Mistral AI : un modèle de 8 milliards de paramètres qui permet aux robots de naviguer dans des environnements complexes avec une simple caméra RGB
Mistral AI a dévoilé Robostral Navigate, son premier modèle conçu pour la navigation robotique incarnée. Ce modèle de 8 milliards de paramètres prend en entrée des images RGB issues d'une simple caméra et une instruction en langage naturel, puis pilote un robot à travers un environnement complexe, qu'il s'agisse de bureaux, d'immeubles résidentiels ou commerciaux, ou d'espaces extérieurs. Contrairement à la plupart des systèmes de navigation qui s'appuient sur des capteurs de profondeur, du LiDAR ou plusieurs caméras, Robostral Navigate fonctionne avec une seule caméra RGB classique, sans capteur de profondeur. Il atteint 79,4% de taux de réussite sur le benchmark R2R-CE (Room-to-Room in Continuous Environments, basé sur Matterport3D) en validation sur environnements connus, et 76,6% en validation sur environnements inconnus, dépassant de 9,7 points la meilleure approche à caméra unique et de 4,5 points les meilleurs systèmes utilisant profondeur ou caméras multiples. Pour l'entraînement, Mistral a généré environ 400 000 trajectoires réparties sur 6 000 scènes simulées, et a appliqué ensuite un algorithme d'apprentissage par renforcement en ligne nommé CISPO, qui a permis un gain supplémentaire de 3,2% de taux de réussite.
Résumé et traduction réalisés par Le Fil IA à partir de MarkTechPost. Lire l'article original →
Cette avancée compte pour l'industrie robotique car elle réduit drastiquement le coût matériel nécessaire à une navigation autonome fiable: une seule caméra ordinaire suffit là où les concurrents multiplient les capteurs LiDAR ou de profondeur, ce qui rend le déploiement à grande échelle plus abordable pour les fabricants de robots domestiques, industriels ou de service. La méthode de "pointing", où le modèle prédit directement les coordonnées du point cible dans l'image plutôt que des déplacements métriques, rend aussi le système plus robuste aux changements de caméra ou d'échelle du monde réel, un problème récurrent qui limitait jusqu'ici la généralisation des robots entre différents matériels. Enfin, l'optimisation de l'entraînement via une technique de mise en cache des préfixes a permis de réduire le nombre de tokens d'entraînement par un facteur 22, transformant des cycles de recherche qui prenaient des mois en quelques jours seulement.
Ce lancement s'inscrit dans la stratégie plus large de Mistral AI visant à construire des modèles fondamentaux au-delà du seul traitement du langage, en misant sur ses modèles de vision-langage déjà entraînés pour des tâches de repérage, de comptage et de localisation d'objets, dont la navigation apparaît comme une extension naturelle. Cette approche s'oppose au recours classique aux modèles open source existants et positionne l'entreprise française comme un acteur crédible face aux géants américains dans la course à la robotique généraliste, un secteur où Google DeepMind, Tesla et plusieurs startups spécialisées investissent massivement. Les prochaines étapes attendues concernent probablement l'élargissement à d'autres tâches de manipulation robotique et le déploiement sur du matériel commercial réel.
Mistral AI, entreprise française, renforce sa position dans la robotique face aux acteurs américains et pourrait équiper des robots déployés en France et en Europe.
Reste à voir si ça tient en prod, mais sur le papier c'est du solide : Mistral divise le coût matériel de la navigation robotique en remplaçant LiDAR et caméras multiples par une simple caméra RGB, et ça bat quand même les systèmes plus équipés sur R2R-CE. Le vrai coup, c'est la méthode de pointing qui prédit un point cible dans l'image plutôt qu'un déplacement métrique, ça règle un problème de généralisation qui plombait le secteur depuis des années. Selon Le Fil IA, Mistral vient de prouver qu'on n'a plus besoin de capteurs chers pour faire naviguer un robot correctement, et ça change le calcul économique de toute une industrie.