Aller au contenu principal
Création · Actu ·

Construire l'intelligence visuelle : Andreas Blattmann et Dustin Podell (Black Forest Labs)

Black Forest Labs, la start-up fondée par les anciens chercheurs de Stability AI à l'origine de Stable Diffusion, étend son travail de l'image fixe à la vidéo, au son et aux modèles de monde avec FLUX 3. Dans un épisode du podcast Latent Space, Andreas Blattmann, co-inventeur de la diffusion latente, et Dustin Podell, qui a dirigé FLUX Kontext et signé en tête l'article SDXL, expliquent leur approche : entraîner un même modèle sur trois signaux à la fois, l'image, la vidéo et l'audio. Blattmann résume l'idée par une image simple. Lorsqu'on vous lance une balle, votre main bouge avant qu'elle n'arrive, sans que vous sachiez écrire sa trajectoire. Une photo montre où se trouve la balle, une vidéo montre comment elle y est parvenue, et le son de l'impact indique quand elle a touché quelque chose, même si la caméra a manqué le contact. BFL dérive aussi son outil d'upscaling vidéo du même socle FLUX 3, et la discussion a abordé le débat entre autorégression et diffusion, la robotique et les modèles d'action du monde.

2 min de lecture

Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie

Source

Résumé et traduction réalisés par Le Fil IA à partir de Latent Space. Lire l'article original →

L'enjeu est de savoir ce qu'un modèle visuel doit réellement apprendre. Selon Blattmann, une vidéo en deux dimensions contient énormément d'indices sur l'apparence des objets sous d'autres angles : quand la caméra tourne autour d'une personne, le modèle doit finir par produire l'arrière de sa tête. Cela ne prouve pas qu'il « comprend la physique », mais fournit un test bien plus exigeant que de juger une image isolée. La cohérence temporelle a aussi des conséquences très pratiques : si l'on améliore chaque image d'un clip séparément, chacune peut sembler excellente, mais la lecture fait scintiller les détails, l'outil ayant pris une décision légèrement différente à chaque fois. Même pour une simple demande de résolution supérieure, il faut donc un modèle qui raisonne sur la durée. L'usage le plus touchant cité par Podell, qu'il n'avait pas anticipé, est la restauration de vieilles photos de famille dégradées, ensuite montrées aux proches, ceux qui remarquent immédiatement si l'identité de la personne a été préservée.

Cette stratégie s'inscrit dans une histoire singulière. Stable Diffusion, publié en 2022, a poussé plusieurs de ses utilisateurs, dont Podell, à quitter leur emploi pour se consacrer à l'IA. Stability AI s'est ensuite délité, et l'investisseur Anj Midha a aidé le noyau de chercheurs à fonder BFL, qui a rapidement produit la série d'images Flux. L'équipe arbitre en permanence ses investissements de calcul. Les modèles autorégressifs apprennent de tous les jetons d'un exemple à la fois, tandis que la diffusion permet de distiller un long échantillonnage en quelques étapes, l'avantage dépendant de ce qu'on paie, l'entraînement ou l'attente de l'image. Pour Kontext, Podell soupçonnait qu'un modèle capable de dessiner un chien avec un chapeau savait déjà où va un chapeau. Quelques heures d'entraînement sur un petit jeu de photos annotées de relations ont suffi à faire placer un logo sur une chemise, résultat brut mais assez convaincant pour justifier des mois de travail sur les données et le modèle. La suite logique, évoquée dans l'entretien, mène vers les modèles de monde et la robotique, avec un horizon fixé autour de 2027.

VidéoVoir la vidéo de cet article sur YouTube →

À lire ensuite

01Black Forest Labs lance FLUX 3, un modèle multimodal pour l'image, la vidéo, l'audio et la prédiction d'actions robotiquesMarkTechPostCréation 02« Black Forest Labs déploie FLUX 3 Video en disponibilité générale et affirme dépasser Seedance 2.0 »The DecoderCréation 03Black Forest Labs lance FLUX 3, qui devance Seedance 2.0, Gemini Omni et Grok Imagine, et FLUX-mimic pour la robotiqueLatent SpaceCréation 

Le brief du matin

L'essentiel de l'IA chaque jour. Gratuit, désinscription immédiate à tout moment.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, l'essentiel de l'IA · désinscription à tout moment

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.