Création d'un pipeline d'apprentissage robotique en streaming avec NVIDIA Cosmos3-DROID
NVIDIA publie un tutoriel qui montre comment construire une chaîne complète d'apprentissage robotique en streaming autour du jeu de données Cosmos3-DROID, sans télécharger les 707 Go du dépôt. Le code commence par inspecter la structure du format LeRobotDataset v3.0. Il construit un graphe de métadonnées à partir du fichier info.json, des métadonnées de tâches, des tables d'épisodes et des statistiques du jeu de données. Il utilise ensuite des accès HTTP par plages d'octets avec PyArrow pour lire seulement les groupes de lignes et les colonnes Parquet nécessaires. Chaque épisode est converti en trajectoire état-action. Le tutoriel analyse les mouvements des articulations, les événements de la pince, les trajectoires cartésiennes de l'effecteur et le spectre de fréquence des actions. Il décode ensuite uniquement les fenêtres vidéo AV1 requises, grâce à un accès par seek via PyAV et FFmpeg. Les observations et les actions sont normalisées avec les statistiques du jeu de données. Un dataset PyTorch par blocs d'actions, de style ACT, avec conditionnement visuel optionnel, alimente l'entraînement d'une politique multimodale de clonage de comportement. La configuration par défaut retient 48 épisodes, un horizon de 8 pas, un historique de 2 observations, 12 époques et des lots de 256. Les images, de 96 pixels de côté, proviennent de la caméra du poignet gauche, à 15 images par seconde. L'intérêt tient à l'accessibilité. Un jeu de données de 707 Go dépasse le disque et le budget de la plupart des laboratoires, des startups et des étudiants, surtout dans un notebook cloud gratuit. Lire à la demande quelques colonnes et quelques fenêtres vidéo ramène le coût d'entrée à quelques minutes de calcul et à un volume réseau modeste. La démarche est aussi reproductible : une bonne partie du travail réel en robotique d'apprentissage consiste à comprendre les données, à les normaliser et à les valider avant d'entraîner un modèle. Le tutoriel évalue enfin la politique en boucle ouverte, avec des blocs d'actions combinés par moyennage temporel. Il rapporte l'erreur quadratique moyenne par articulation et le coefficient R² face à une référence qui prédit l'action moyenne, puis compare visuellement actions prédites et réelles. Il sauvegarde le point de contrôle complet de la politique pour des usages ultérieurs. Cette évaluation reste toutefois une validation de cohérence, et non une preuve de performance sur un robot réel. Le contexte est celui de la montée des grands jeux de données de manipulation robotique. DROID, collecté sur de nombreux sites avec des bras Franka, est devenu une référence, et NVIDIA en propose ici une version organisée en sous-ensembles « success » et « failure », avec des vidéos compressées en AV1. Le format LeRobot, porté par Hugging Face, standardise le stockage en Parquet et en vidéo, ce qui rend possible ce type d'accès partiel. L'architecture ACT, qui prédit des séquences d'actions, s'est imposée comme base simple pour le clonage de comportement. Pour la suite, les mêmes outils pourraient servir à entraîner sur davantage d'épisodes, à exploiter le sous-ensemble d'échecs, ou à tester les politiques en simulation et sur matériel.
