Une seule couche suffit : adapter les encodeurs visuels pré-entraînés pour la génération d'images

Les sous-titres détaillés surpassent le volume brut pour entraîner des générateurs d'images efficaces, selon Lens de Microsoft Research

Microsoft Research a publié Lens, un modèle de génération d'images à partir de texte doté de seulement 3,8 milliards de paramètres, capable de rivaliser avec des modèles bien plus volumineux sur les benchmarks standard, à une fraction du coût d'entraînement habituel. La clé de cette performance réside dans les données : au lieu de s'appuyer sur les descriptions alternatives vagues issues du web, l'équipe a généré 800 millions de légendes d'images très détaillées à l'aide de GPT-4.1. Le code source et les poids du modèle ont été publiés sous licence open source. Ce résultat remet en question une hypothèse dominante dans l'industrie de l'IA : celle selon laquelle il faudrait toujours plus de paramètres et de données brutes pour obtenir de meilleures performances. Lens démontre qu'un modèle compact, nourri de données de haute qualité, peut égaler des modèles propriétaires bien plus lourds. Pour les équipes disposant de ressources limitées, cela ouvre la voie à des pipelines de génération d'images performants sans investissement massif en infrastructure. Cette publication s'inscrit dans une tendance qui valorise la qualité des données d'entraînement plutôt que leur quantité brute, une philosophie déjà portée par des modèles comme Phi chez Microsoft lui-même. L'utilisation de GPT-4.1 pour générer des descriptions riches et précises rappelle les approches de recaptioning adoptées par Stability AI ou Adobe Firefly. En rendant Lens accessible à tous, Microsoft Research contribue à démocratiser la recherche en génération visuelle, et pourrait accélérer l'émergence de modèles spécialisés plus efficaces dans des domaines comme le design, la médecine ou l'éducation.

Le NeuroVFM, un nouveau modèle de fondation pour la neuro-imagerie entraîné avec Vol-JEPA sur des IRM et scanners cliniques non filtrés

Une équipe de recherche de l'Université du Michigan a développé NeuroVFM, un modèle de fondation visuel généraliste pour la neuroimagerie, présenté dans une publication de la revue Nature Medicine. Le système a été entraîné sur 5,24 millions de volumes IRM et scanner cliniques, issus de 566 915 études rassemblées dans la base UM-NeuroImages, qui couvre plus de deux décennies de soins courants dispensés par Michigan Medicine. Les chercheurs qualifient leur méthode d'apprentissage à l'échelle du système de santé : plutôt que de s'appuyer sur des rapports radiologiques appariés ou une curation spécifique à chaque pathologie, comme le font les classificateurs médicaux classiques, le modèle apprend directement à partir de données non annotées produites lors de l'activité clinique normale. Son socle technique, baptisé Vol-JEPA, étend les méthodes I-JEPA et V-JEPA à l'imagerie médicale volumétrique en trois dimensions. Concrètement, Vol-JEPA est un algorithme auto-supervisé qui ne reconstruit pas les pixels des images mais prédit des représentations dans un espace latent appris, ce qui lui évite tout besoin d'étiquettes, de comptes-rendus radiologiques ou de décodeur voxel. Chaque volume 3D est découpé en portions non chevauchantes de 4x16x16 voxels, réparties entre un petit contexte visible et une plus large zone masquée à prédire. Un encodeur étudiant traite le contexte, un module prédicteur en déduit les représentations latentes de la zone masquée, et un encodeur enseignant, mis à jour par moyenne mobile exponentielle du modèle étudiant, fournit la cible de référence ; l'écart entre les deux est mesuré par une perte L1 lissée. Le masquage cible en priorité les zones anatomiques utiles grâce à des masques de tête précalculés, avec des ratios de contexte de 25% pour l'IRM et 20% pour le scanner, complétés par un abandon de patchs de 20%. L'intérêt pratique est majeur pour les hôpitaux et les équipes de recherche en radiologie : un même modèle généraliste, entraîné sans supervision humaine coûteuse, pourrait ensuite être adapté à de multiples tâches cliniques de neuroimagerie sans nécessiter de nouvelles données annotées. Cette approche répond à un problème structurel bien connu du secteur : les modèles de fondation les plus performants apprennent surtout à partir de données publiques d'internet, où les IRM et scanners cliniques sont quasiment absents, car ils contiennent des traits faciaux identifiables et posent des problèmes de confidentialité des patients. Les modèles génériques sous-performent donc historiquement sur les tâches d'imagerie cérébrale, faute d'exposition à des volumes médicaux réels et diversifiés. NeuroVFM s'inscrit dans une tendance plus large de diffusion des méthodes de type JEPA, initialement conçues pour les images et vidéos naturelles, vers l'imagerie médicale spécialisée. Reste à voir si d'autres établissements hospitaliers suivront cette voie de l'apprentissage à l'échelle du système de santé pour constituer, à partir de leurs propres archives cliniques, des modèles de fondation comparables dans d'autres spécialités que la neuroimagerie.

💬 Ce qui compte ici, c'est pas le modèle en lui-même, c'est la méthode : Michigan a montré qu'un hôpital peut entraîner un foundation model direct sur ses archives IRM et scanner, sans rapport radiologique ni annotation. Tu le sais si tu suis le sujet, le vrai verrou en imagerie médicale c'était pas la puissance de calcul mais l'absence de données labellisées à grande échelle, et JEPA contourne ça en prédisant dans un espace latent plutôt que sur les pixels bruts. Reste à voir si d'autres CHU ont l'infrastructure pour rejouer le coup, parce que 5 millions de volumes cliniques, ça se trouve pas dans toutes les boîtes mail.

AMI LABS lève 890 millions d’euros pour construire une nouvelle génération d’IA autour des “world models”

AMI Labs a levé 890 millions d'euros pour développer une nouvelle génération d'IA basée sur les "world models". Cette approche, défendue par Yann LeCun, repose sur l'idée que les modèles de langage actuels — fondés sur la prédiction statistique de texte — sont incapables de véritablement comprendre le monde. AMI Labs ambitionne ainsi de dépasser les limites de l'IA générative actuelle en construisant des modèles capables de raisonner sur la réalité physique et causale.

Un seul modèle, trois modalités : ByteDance lance Lance pour comprendre, générer et éditer images et vidéos

L'équipe de recherche de ByteDance a publié Lance, un modèle d'intelligence artificielle capable de comprendre, générer et modifier des images et des vidéos au sein d'une seule et même architecture. Présenté dans un article de recherche disponible sur arXiv, Lance organise ses capacités autour de trois familles de sorties : texte, images et vidéos. Côté compréhension, il prend en charge la description d'images et de vidéos, les questions-réponses visuelles, la reconnaissance optique de caractères et le raisonnement visuel. Côté génération, il couvre la création d'images et de vidéos à partir de texte, la conversion image-vers-vidéo, la génération guidée par un sujet, et l'édition cohérente multi-tours sur les deux modalités. Le modèle repose sur une architecture de 3 milliards de paramètres initialisée depuis Qwen2.5-VL 3B de Alibaba, et intègre le codec vidéo 3D causal VAE de Wan2.2, également développé par ByteDance. Réunir compréhension et génération dans un seul modèle représente un défi technique de premier ordre, car les deux tâches tirent dans des directions opposées : la compréhension requiert des représentations sémantiques compactes alignées sur le langage, tandis que la génération exige des représentations continues à bas niveau pour préserver textures, géométrie et dynamiques temporelles. La plupart des systèmes existants contournent cette tension en séparant les deux blocs puis en les connectant après coup. Lance est l'un des rares modèles à les unifier nativement dès l'entraînement, grâce à une architecture à double flux de type mixture-of-experts : un expert dédié à la compréhension (LLMUND) et un expert dédié à la génération (LLMGEN), partageant le même contexte d'entrée sans se concurrencer sur les mêmes paramètres. Pour les professionnels du multimédia, des plateformes de contenu ou des développeurs d'outils créatifs, cette convergence ouvre la voie à des pipelines considérablement simplifiés. Le principal obstacle architectural résidait dans la coexistence de types de tokens hétérogènes au sein d'une même séquence : tokens textuels, tokens visuels sémantiques produits par le encodeur ViT de Qwen2.5-VL, et tokens latents continus issus du VAE avec un sous-échantillonnage spatial de 16× et temporel de 4×. Le positionnement rotatif standard en 3D (3D-RoPE) ne permettait pas de distinguer ces groupes, créant des ambiguïtés de frontières préjudiciables à l'alignement entre tâches. ByteDance a introduit MaPE (Modality-Aware Rotary Positional Encoding), qui applique un décalage temporel fixe à chaque groupe de modalité selon son ordre dans la séquence, tout en laissant les coordonnées spatiales intactes. Lance s'inscrit dans une course plus large entre les grands laboratoires asiatiques et occidentaux pour produire des modèles visuels unifiés : des approches similaires ont été explorées par Google avec Gemini et par des équipes académiques, mais peu ont démontré une couverture aussi complète du cycle image-vidéo dans un seul modèle entraîné conjointement.