Implémentation d'un pipeline de génération vidéo et audio multimodal MiniMax-H3 avec les API ComfyUI

MiniMax dévoile H3, un modèle vidéo omnimodal générant des clips de 15 secondes en 2K avec audio stéréo natif

MiniMax a dévoilé le 31 juillet 2026 son nouveau modèle H3, un système de génération multimodale qui produit des vidéos en résolution 2K, d'une durée de 4 à 15 secondes (uniquement en valeurs entières), avec un son stéréo natif intégré directement dans la génération. Contrairement aux générations précédentes d'outils vidéo, souvent fragmentées entre modèles spécialisés distincts pour le texte-vers-vidéo, l'image-vers-vidéo, la génération à partir de première et dernière image, la référence de sujet ou de mouvement, et le montage vidéo, MiniMax H3 unifie l'ensemble dans un seul modèle capable de lire texte, images, vidéo et audio comme un contexte unique. Les relations de référence et d'édition s'expriment désormais en langage naturel, l'entreprise citant en exemple une consigne du type reprendre le mouvement de caméra d'une première vidéo, faire chanter un personnage issu d'une image, et synchroniser les paroles sur un extrait audio fourni séparément. Le modèle est déjà accessible via l'API sous l'identifiant MiniMax-H3 et dans l'application grand public Hailuo AI, mais reste indisponible pour un déploiement local sur du matériel propre. Cette unification change concrètement la donne pour la publicité, l'e-commerce, le design produit, les interfaces UI/UX, le jeu vidéo et la pré-visualisation cinématographique, en permettant de produire depuis un seul outil des variantes publicitaires, des vidéos de fiches produits, des séquences de titre, des animations de site web ou des cinématiques de jeu à personnages cohérents. Sur le plan tarifaire, MiniMax affirme que le prix à la seconde en 2K représente moins d'un tiers de celui des modèles concurrents, et moins de la moitié en 768p face aux offres 720p classiques ; des estimations relayées par des observateurs tiers évoquent un tarif de 0,13 dollar par seconde en 2K, soit environ 1,95 dollar pour un clip de 15 secondes, un chiffre que MiniMax n'a pas encore confirmé sur sa propre page de tarification, laquelle n'affiche pour l'instant que les paliers de son modèle précédent Hailuo 2.3. Techniquement, quatre innovations soutiennent cette avancée. Le système de description contextuelle compresse environ 100 000 tokens d'inférence en seulement 4 000 tokens en moyenne, en décrivant la relation entre le contexte source et la vidéo cible plutôt que la seule cible. Un nouvel encodeur, baptisé H3-VAE, offre un gain de compression multiplié par quatre en longueur de séquence effective, réduisant les coûts d'entraînement et d'inférence tout en rendant possible la résolution 2K. L'architecture de transformeur H3-Omni, développée en rupture avec celle du précédent modèle Hailuo-02, sépare les traitements de compréhension et de génération pour mieux exploiter le matériel, avec un gain de débit d'entraînement annoncé de près de 30 %. Enfin, une régénération en contexte permet au modèle de reconstruire lui-même sa sortie basse résolution en relisant le contexte multimodal d'origine, ce qui améliore le rendu du texte fin et des détails, un atout pour les usages liés aux marques et aux produits. Selon Artificial Analysis, cité par le South China Morning Post, H3 se positionnerait déjà en tête des classements de qualité vidéo générative.

💬 Bon, sur le papier ça sent le coup marketing habituel, mais le détail technique tient la route : compresser 100 000 tokens de contexte en 4 000 tout en gardant la cohérence entre plans, c'est ce qui manquait pour sortir de la génération vidéo "un prompt, un clip isolé". Le vrai signal, c'est le prix : à moins de 2 dollars le clip de 15 secondes en 2K, MiniMax rend la vidéo générative jetable comme un asset publicitaire, plus comme une prouesse technique qu'on montre une fois. Reste à voir si ça tient en prod hors des démos triées sur le volet, mais si les chiffres se confirment, le coût cesse d'être l'obstacle pour la pub et l'e-commerce.

Black Forest Labs lance FLUX 3, un modèle multimodal pour l'image, la vidéo, l'audio et la prédiction d'actions robotiques

Black Forest Labs (BFL) a dévoilé FLUX 3, un modèle de fondation multimodal capable d'apprendre simultanément à partir d'images, de vidéos et de fichiers audio au sein d'une seule architecture. Il s'agit du premier modèle de la famille FLUX à générer vidéo, audio et prédiction d'actions robotiques à partir d'un unique jeu de poids. La déclinaison FLUX 3 Video produit des clips allant jusqu'à 20 secondes en une seule génération, avec audio natif, et couvre plusieurs modes : texte-vers-vidéo, image-vers-vidéo, vidéo-vers-vidéo à partir d'un clip de référence, transitions contrôlées entre images-clés, et prolongement génératif d'une vidéo et d'un audio existants. BFL revendique aussi des fonctions de dialogue multilingue, un enchaînement agentique de plusieurs plans en séquences à plusieurs prises de vue, ainsi qu'une génération typographique animée particulièrement soignée. L'entreprise met en avant des résultats solides sur les expressions faciales humaines et sur l'association entre sons et événements physiques. Selon des tests de préférence humaine publiés par BFL sur des clips de 10 secondes en 720p avec audio, FLUX 3 a été préféré à Luma Ray 3.2 dans 93% des comparaisons, à Runway Gen-4.5 dans 77% des cas, jusqu'à 69% face à Grok Imagine Video, 60% face à Kling v3 Pro, 59% et 57% face aux deux versions de Happy Horse, et un score proche du 50/50 (52%) face à Seedance 2.0 et Gemini Omni Flash. Cette avancée est importante parce qu'elle rapproche les modèles génératifs d'une compréhension unifiée du monde physique plutôt que d'une simple juxtaposition de compétences séparées par modalité. Pour BFL, aucune modalité prise isolément ne décrit complètement la réalité : l'image capture une structure spatiale figée, la vidéo restitue le temps et la dynamique physique, l'audio révèle les liens de causalité entre un événement mécanique et le son qu'il produit. En entraînant un seul modèle sur ces trois dimensions à la fois, chacune vient contraindre les autres, le son doit correspondre à l'impact visuel et le mouvement doit respecter la masse des objets. Cette cohérence intermodale intéresse directement les studios de production vidéo, les développeurs d'outils créatifs et, via le partenariat évoqué avec mimic robotics, les concepteurs de robots qui ont besoin de modèles capables de prédire des actions physiques plausibles. Sur le plan technique, FLUX 3 s'appuie sur Self-Flow, une méthode de BFL introduite en mars 2026 qui combine un objectif d'appariement de flux avec un objectif de reconstruction de caractéristiques auto-supervisé. L'implémentation de référence publiée sur GitHub sous licence Apache-2.0 utilise une architecture SiT-XL/2 avec conditionnement par pas de temps au niveau du token, un taux de masquage de 25% et une auto-distillation entre un enseignant EMA à la couche 20 et un élève à la couche 8, mais ce point de contrôle reste un modèle de recherche limité à des images ImageNet en 256x256, distinct de FLUX 3 lui-même. BFL affirme avoir considérablement augmenté les ressources de calcul et de données pour appliquer cette même approche à l'échelle de la vidéo, de l'image et de l'audio combinés, ce qui constitue selon l'entreprise sa première réalisation entièrement fondée sur ce principe unificateur.

💬 Bon, cette fois BFL ne se contente pas d'un modèle image de plus, ils tapent la vidéo, l'audio et même la prédiction d'actions robotiques dans les mêmes poids. Le pari, c'est que le son et le mouvement se contraignent mutuellement, un impact visuel qui n'a pas le bon bruit, ça se voit tout de suite, et apparemment leurs tests de préférence humaine donnent des scores écrasants face à Luma ou Runway. Reste que c'est un labo allemand qui pousse ça en open-weight, et ça, dans un game dominé par la Silicon Valley et la Chine, c'est un signal qu'on devrait suivre de près.

Seedance 2.0 : Le guide complet de la création vidéo multimodale

Seedance 2.0 s'impose comme l'un des moteurs de génération vidéo par intelligence artificielle les plus avancés du moment, ciblant aussi bien les monteurs professionnels que les créateurs amateurs. Cette nouvelle version repose sur une architecture de Diffusion Transformers (DiT) enrichie de milliards de paramètres, ce qui permet au modèle de comprendre l'espace, les volumes et le comportement de la lumière sur les matières. La résolution monte jusqu'au 4K grâce à un upscaling intelligent, tandis que la cohérence temporelle entre les plans, longtemps talon d'Achille des générateurs vidéo IA, atteint un niveau de stabilité inédit. Les textures complexes comme le grain de peau ou les reflets sur l'eau sont rendues avec un réalisme qui rend l'intégration dans des productions professionnelles crédible sans retouche supplémentaire. L'impact concret pour les créateurs tient surtout aux nouvelles fonctions de contrôle introduites avec cette version. Le Motion Brush permet de tracer à la main la trajectoire exacte d'un élément dans le cadre, donnant au réalisateur une maîtrise que les outils précédents refusaient. L'édition par zone autorise la retouche d'un détail isolé, changer la couleur d'un vêtement ou ajouter un accessoire, sans reconstruire l'intégralité du clip. Le contrôle de la profondeur de champ ouvre la porte aux flous artistiques directement dans la phase de génération. Ces fonctions réduisent drastiquement les allers-retours entre la génération et la post-production, ce qui change le rapport au temps dans les workflows créatifs. Seedance 2.0 arrive dans un marché de la vidéo générative qui se densifie rapidement, avec des acteurs comme Sora d'OpenAI, Runway ou Kling déjà bien installés. L'enjeu pour chaque plateforme est de se différencier non plus seulement sur la qualité brute du rendu, mais sur le degré de contrôle offert au créateur, ce que cette version tente d'incarner avec ses outils de précision. La montée en puissance des architectures DiT, déjà adoptées dans la génération d'images fixes, s'étend désormais à la vidéo avec des résultats qui tendent à confirmer leur supériorité sur les approches plus anciennes. La suite dépendra de la capacité de l'outil à tenir ses promesses sur des projets longs et complexes, et de l'ouverture éventuelle de son accès à une communauté plus large de développeurs et studios indépendants.

Construire un pipeline Netflix VOID de suppression d'objets vidéo avec CogVideoX

Netflix a publié VOID (Video Object Inpainting and Detection), un modèle d'intelligence artificielle capable de supprimer des objets d'une vidéo et de reconstituer le fond de manière réaliste. Le pipeline repose sur CogVideoX-Fun-V1.5-5b-InP, un modèle d'inpainting vidéo développé par Alibaba PAI et distribué via Hugging Face. Le code source est accessible publiquement sur GitHub à l'adresse netflix/void-model, et le checkpoint officiel void_pass1.safetensors est téléchargeable depuis le dépôt netflix/void-model sur Hugging Face. Pour faire tourner le système, il faut au minimum 40 Go de VRAM, un GPU A100 étant recommandé par les ingénieurs de Netflix eux-mêmes. Le workflow comprend plusieurs étapes : cloner le dépôt, télécharger les modèles de base, préparer des séquences vidéo d'entrée avec leurs masques, puis lancer l'inférence pour obtenir une vidéo où l'objet ciblé a été effacé et remplacé par un fond cohérent. Une intégration optionnelle avec l'API d'OpenAI permet de générer automatiquement un prompt décrivant le fond souhaité, ce qui améliore la qualité du résultat final. Ce type d'outil représente une avancée significative pour la production audiovisuelle. Supprimer un objet indésirable d'une scène vidéo, un câble visible, un accessoire oublié en arrière-plan ou un logo non autorisé, est une opération courante en post-production qui nécessite aujourd'hui des heures de travail manuel dans des logiciels spécialisés comme Adobe After Effects ou DaVinci Resolve. Avec VOID, Netflix propose une approche automatisée basée sur la génération vidéo, où le modèle ne se contente pas de masquer une zone mais reconstitue activement ce qui se trouverait derrière l'objet supprimé, en tenant compte du mouvement de la caméra et de la cohérence temporelle entre les frames. Pour les studios de production et les équipes VFX, cela pourrait réduire drastiquement les coûts et délais associés aux corrections de plans en post-production. Netflix n'est pas le premier acteur à s'aventurer sur ce terrain. Des outils comme RunwayML Gen-3 ou Adobe Firefly Video proposent déjà des fonctionnalités similaires en mode SaaS, mais rares sont les modèles publiés en open source avec un pipeline complet et reproductible. En rendant VOID accessible, Netflix s'inscrit dans une tendance récente de grandes entreprises tech qui publient des modèles de recherche appliquée, à l'image de Meta avec SAM 2 pour la segmentation vidéo ou de Google avec ses travaux sur l'édition de scènes. L'architecture choisie, basée sur CogVideoX et les transformers de diffusion vidéo, reflète l'état de l'art actuel dans le domaine. La prochaine étape probable sera l'intégration de passes multiples et le traitement de vidéos longue durée, l'infrastructure actuelle étant limitée à des clips courts en raison des contraintes mémoire des GPU disponibles.