Fine-tuning de Qwen3 avec LoRA via NVIDIA NeMo AutoModel : tutoriel complet sur Google Colab (GPU unique)

Tutoriel du framework Cosmos de NVIDIA : concevoir une version miniature compatible Colab des modeles de monde Cosmos 3 avec un mélange de transformeurs omnimodal

Un nouveau tutoriel technique publié par NVIDIA détaille comment reproduire, à petite échelle, l'architecture de ses modèles de monde Cosmos 3 sur une simple instance Google Colab. Le point de départ est un constat honnête: les vrais points de contrôle (checkpoints) de Cosmos 3, et notamment sa version Nano-16B, nécessitent une puissance de calcul largement hors de portée du matériel Colab standard. Le tutoriel commence par une phase de diagnostic qui compare précisément l'environnement disponible aux exigences réelles du modèle: une architecture GPU Ampere ou supérieure (sm80 et plus, comme les A100 ou RTX 30xx), au moins 80 Gio de mémoire GPU pour un seul GPU H100, une version CUDA 12.8 ou ultérieure, environ 150 Gio d'espace disque libre pour le premier lancement, et jusqu'à 1 To de cache pour Hugging Face, ainsi que des noyaux d'attention optimisés comme FlashAttention-3 sur architecture Hopper. Sans surprise, la majorité des configurations Colab classiques, souvent équipées de GPU T4 en architecture sm75, échouent ce test et rendent impossible toute inférence réelle avec Cosmos 3. Plutôt que de s'arrêter à ce constat, les auteurs du tutoriel utilisent la structure réelle du framework cosmos-framework, son interface en ligne de commande, son schéma d'entrée et ses différents modes de modèles, pour construire une version miniature mais techniquement fidèle du concept. Cette démarche pédagogique permet à des chercheurs et développeurs sans accès à des infrastructures coûteuses de comprendre concrètement le fonctionnement interne des modèles de monde omnimodaux, sans attendre un accès matériel hors budget. C'est une réponse pratique à un problème récurrent dans le développement de l'IA générative de pointe: l'écart croissant entre les capacités des modèles annoncés par les grands laboratoires et les moyens de calcul accessibles à la communauté open source. Le cœur du tutoriel consiste à entraîner un modèle de monde compact reposant sur une architecture Mixture-of-Transformers omnimodale, reprenant l'idée centrale de Cosmos: une attention croisée partagée entre modalités, combinée à un routage vers des experts spécialisés selon qu'il s'agit de texte, de vision ou de flux d'action. À partir de données physiques synthétiques, le modèle apprend par suivi de la perte d'entraînement et par un déroulement autorégressif à prédire les états latents futurs, illustrant de façon simplifiée mais rigoureuse comment ces systèmes multimodaux capturent les relations entre différents types de signaux. Ce type d'initiative s'inscrit dans une tendance plus large de démocratisation des architectures de pointe, où les grandes entreprises comme NVIDIA publient des cadres ouverts permettant à la communauté de s'approprier des concepts avancés malgré des contraintes matérielles très inégales.

💬 80 Gio de VRAM minimum pour faire tourner Cosmos 3, quand toi tu bosses sur un Colab gratuit avec un T4 comme tout le monde: voilà l'écart qui structure l'IA open source aujourd'hui, entre ce que les labos annoncent et ce que la communauté peut vraiment exécuter chez elle. Je trouve le geste honnête, NVIDIA pose le diagnostic dès le départ au lieu de vendre du rêve, et livre une version miniature qui reste fidèle à l'architecture Mixture-of-Transformers. Bon, ça reste un jouet pédagogique, pas un début de Cosmos 3 maison, mais pour piger comment ces modèles routent texte, vision et action entre eux, c'est du concret.

Tutoriel NVIDIA cuTile en Python : noyaux GPU tuilés pour vecteurs et matrices dans Colab

NVIDIA a lancé cuTile Python, une interface de programmation GPU par tuiles permettant d'écrire des kernels de style CUDA directement en Python, sans passer par le C++. Un tutoriel détaillé, conçu pour fonctionner sur Google Colab, guide les développeurs à travers trois exemples progressifs : addition de vecteurs, addition de matrices et multiplication de matrices. L'environnement requiert au minimum le pilote NVIDIA R580 et le CUDA Toolkit 13.1, des prérequis que Colab ne satisfait pas toujours en configuration standard. Le package s'installe via PyPI sous le nom cuda-tile[tileiras], et le tutoriel intègre un mode de repli automatique sur PyTorch pour garantir l'exécutabilité du notebook même lorsque les conditions du runtime ne sont pas réunies. L'enjeu est considérable pour la communauté des développeurs en machine learning et en IA. Jusqu'ici, écrire des kernels GPU personnalisés et hautement optimisés exigeait de maîtriser le CUDA C++, un langage bas niveau réservé à un profil d'ingénieur très spécialisé. cuTile Python abaisse cette barrière en exposant une abstraction par tuiles directement en Python, le langage de référence de l'écosystème IA. Concrètement, les développeurs peuvent désormais contrôler finement comment les tenseurs sont chargés, calculés et stockés en mémoire GPU, puis comparer les performances de leurs kernels personnalisés avec les opérations standard de PyTorch. Ce niveau de contrôle, auparavant réservé à des équipes spécialisées dans des laboratoires comme Google DeepMind ou Meta FAIR, devient accessible à un cercle bien plus large de praticiens. Cette initiative s'inscrit dans une tendance de fond chez NVIDIA à rendre son écosystème CUDA plus accessible aux développeurs Python, face à la montée en puissance de compilateurs alternatifs comme Triton d'OpenAI ou JAX de Google. Triton, intégré nativement à PyTorch depuis 2022, avait déjà ouvert cette voie en permettant d'écrire des opérations GPU optimisées en Python pur. cuTile se positionne comme la réponse directe de NVIDIA, en s'appuyant sur son propre stack logiciel et ses nouvelles générations de pilotes. Le fait que le tutoriel soit explicitement conçu pour Colab, l'environnement de notebooks gratuit de Google, signale une stratégie d'adoption large : abaisser le coût d'entrée pour que les étudiants, chercheurs et ingénieurs puissent expérimenter sans infrastructure dédiée. La prochaine étape naturelle sera l'intégration de cuTile dans les frameworks d'entraînement majeurs comme HuggingFace Accelerate ou PyTorch Lightning, ce qui pourrait redéfinir comment les équipes optimisent leurs pipelines à grande échelle.

Le nouveau Colab CLI de Google permet aux développeurs et agents IA d'exécuter Python sur des GPU et TPU distants depuis le terminal

L'équipe Google AI a publié cette semaine le Colab CLI, un outil en ligne de commande qui connecte le terminal local d'un développeur aux runtimes distants de Google Colab. Disponible en open source sous licence Apache 2.0 et installable en une seule commande via uv tool install, l'outil permet d'allouer des sessions de calcul cloud depuis le terminal avec des options matérielles allant du CPU classique aux GPU T4, L4, A100 et H100, ainsi qu'aux puces TPU v5e1 et v6e1. L'interface repose sur un petit ensemble de commandes : colab new pour provisionner une session, colab exec pour exécuter du code Python depuis un fichier local ou l'entrée standard, colab stop pour libérer la machine virtuelle, et colab download ou colab log pour récupérer les résultats sous forme de notebooks .ipynb, fichiers Markdown ou JSONL. Google fournit également un fichier COLAB_SKILL.md qui donne aux agents IA un contexte intégré sur l'utilisation du CLI. Ce qui rend ce lancement significatif, c'est moins la fonctionnalité elle-même que la cible visée : les agents IA. Le Colab CLI est explicitement conçu pour que des outils comme Claude Code, Codex ou l'agent maison Antigravity puissent piloter des pipelines de machine learning de bout en bout sans intervention humaine. Google en fait la démonstration avec un exemple concret : le fine-tuning du modèle Gemma 3 1B via QLoRA sur un jeu de données Text-to-SQL, réalisé par l'agent Antigravity en cinq commandes, sans qu'un seul paramètre de provisionnement cloud ne soit saisi manuellement. Le modèle affiné est ensuite téléchargé localement et prêt à être servi. Pour les développeurs travaillant sur des machines sans GPU, le CLI permet aussi d'externaliser l'entraînement vers le cloud sans quitter leur environnement de travail habituel. Google Colab existe depuis 2017 comme environnement de notebooks Python basé sur le navigateur, largement utilisé dans la communauté recherche et éducation pour son accès gratuit ou peu coûteux aux accélérateurs. Le CLI ne remplace pas cette interface web, il cible un usage radicalement différent : les workflows scriptés, automatisés et pilotés par des agents. Cette distinction reflète une tendance plus large dans l'outillage IA : les agents de codage comme Claude Code ou Codex ont besoin d'accéder à des ressources de calcul sans passer par des interfaces graphiques pensées pour des humains. En positionnant Colab comme une infrastructure compatible avec ces agents, Google s'inscrit dans la course aux plateformes d'exécution pour l'IA agentique, un espace où AWS, Modal et RunPod cherchent aussi à capter les développeurs qui automatisent leurs pipelines ML.

💬 Ce qui m'intéresse, c'est pas le CLI en lui-même : c'est le COLAB_SKILL.md livré avec, un fichier d'instructions taillé pour que des agents comme Claude Code sachent louer un H100 et lancer un fine-tuning sans intervention humaine. Google ne fait pas un outil pour les développeurs, il fait un outil pour que les agents des développeurs aient accès à du calcul cloud sans passer par une interface pensée pour des humains. Reste à voir ce que ça coûte en crédits Colab quand un agent part en vrille à 3h du mat.

Tutoriel : affiner LFM2 avec QLoRA et DPO sur Google Colab

Liquid AI a publié LFM2, un modèle de langage conçu pour fonctionner efficacement sur des appareils à ressources limitées, et un tutoriel complet détaille désormais comment le personnaliser sur Google Colab via une chaîne d'outils entièrement open source. Le workflow s'appuie sur QLoRA (Quantized Low-Rank Adaptation), qui permet de charger le modèle en précision 4 bits via bitsandbytes, réduisant drastiquement l'empreinte mémoire GPU. On part du checkpoint de base LFM2-1.2B, disponible sur Hugging Face sous l'identifiant LiquidAI/LFM2-1.2B, pour enchaîner deux étapes d'entraînement : d'abord un ajustement supervisé (SFT) sur 500 exemples du dataset HuggingFaceTB/smoltalk en 60 étapes, puis un alignement par préférences via DPO (Direct Preference Optimization) en 40 étapes supplémentaires. Les bibliothèques utilisées sont transformers (version 4.55 minimum), TRL, PEFT, accelerate et datasets. Un adaptateur LoRA de rang 16 est entraîné puis fusionné dans le modèle, produisant un checkpoint prêt au déploiement. Ce type de pipeline démocratise concrètement la personnalisation de modèles pour des développeurs sans infrastructure dédiée : l'ensemble du processus tient sur un GPU Colab gratuit ou pro, là où un fine-tuning classique nécessiterait plusieurs GPU A100. La combinaison SFT + DPO représente aujourd'hui la méthode de référence pour obtenir un modèle à la fois instruit (qui suit des consignes) et aligné (qui préfère des réponses de qualité à des réponses médiocres). L'intérêt particulier de LFM2 réside dans son architecture optimisée pour l'inférence on-device, ce qui rend ce tutoriel utile non seulement pour le prototypage cloud, mais aussi pour préparer des modèles embarqués sur mobile ou edge hardware. Liquid AI est une startup fondée en 2023 par des chercheurs du MIT, connue pour ses modèles Liquid Foundation Models (LFM) basés sur des architectures d'équations différentielles neuronales, alternatives aux transformeurs classiques. LFM2 marque une nouvelle génération de ces modèles, avec un accent mis sur l'efficacité computationnelle. Le recours à DPO plutôt qu'au classique RLHF (Reinforcement Learning from Human Feedback) s'inscrit dans une tendance forte depuis 2023 : DPO élimine le modèle de récompense intermédiaire, simplifiant l'entraînement tout en produisant des résultats comparables. La mise à disposition de ce guide complet avec code exécutable sur Colab s'inscrit dans une dynamique plus large de démocratisation du fine-tuning, portée par Hugging Face et la communauté open source, face aux modèles propriétaires d'OpenAI ou Anthropic qui restent des boîtes noires non personnalisables.