Google DeepMind présente Vision Banana, générateur d'images affiné par instructions surpassant SAM 3 et Depth Anything V3

Google Deepmind affirme que les générateurs vidéo possèdent déjà les modèles du monde qui manquaient à la vision par ordinateur

Voici l'article traduit et reformaté selon les consignes : Google DeepMind a présenté GenCeption, un système qui détourne un générateur vidéo de son usage habituel pour lui faire accomplir des tâches classiques de vision par ordinateur, comme l'estimation de profondeur ou la segmentation d'images. Le modèle atteint des performances comparables aux meilleurs systèmes spécialisés actuels, alors qu'il a été entraîné avec beaucoup moins de données. Fait notable, son entraînement s'est appuyé presque exclusivement sur des vidéos synthétiques plutôt que sur des images réelles, une approche qui réduit considérablement les besoins en données annotées manuellement. Cette prouesse technique alimente un débat déjà vif dans la communauté de l'intelligence artificielle : les générateurs vidéo, conçus à l'origine pour produire des images animées réalistes, contiendraient-ils déjà, en creux, une forme de modèle universel du monde physique ? Si cette hypothèse se confirme, les implications sont importantes pour l'industrie de la vision par ordinateur, qui pourrait voir converger deux familles de systèmes jusqu'ici séparées, les modèles génératifs et les modèles de perception. Cela ouvrirait la voie à des architectures plus polyvalentes, capables à la fois de générer et de comprendre le monde visuel, réduisant les coûts de développement pour des applications comme la robotique, la conduite autonome ou l'analyse d'images médicales. Le débat sur les modèles du monde occupe une place centrale dans la recherche en IA depuis plusieurs années, porté notamment par des chercheurs comme Yann LeCun chez Meta, qui plaide pour des architectures capables d'apprendre une représentation implicite de la physique et de la causalité plutôt que de simplement prédire des pixels. Les résultats de Google DeepMind suggèrent que les générateurs vidéo, entraînés uniquement à prédire des séquences d'images plausibles, développent malgré tout une compréhension exploitable de la structure du monde réel. Reste à savoir si cette capacité se généralise à d'autres tâches de vision plus complexes, et si les grands laboratoires d'IA, entre Google, Meta et OpenAI, orienteront davantage leurs futurs modèles vers cette convergence entre génération et perception.

💬 L'idée que les générateurs vidéo pourraient déjà contenir un modèle du monde, c'est le genre de truc qu'on attendait depuis 2 ans. Ce qui me frappe, c'est le coût : entraîné quasi exclusivement sur du synthétique, sans annoter des masses d'images à la main, ça change la donne économique de la vision par ordinateur. Reste à voir si ça généralise au-delà de l'estimation de profondeur, mais si LeCun avait raison sur les modèles du monde, ce serait ironique que ce soit un générateur d'images qui lui donne raison plutôt qu'une architecture pensée pour ça.

Les sous-titres détaillés surpassent le volume brut pour entraîner des générateurs d'images efficaces, selon Lens de Microsoft Research

Microsoft Research a publié Lens, un modèle de génération d'images à partir de texte doté de seulement 3,8 milliards de paramètres, capable de rivaliser avec des modèles bien plus volumineux sur les benchmarks standard, à une fraction du coût d'entraînement habituel. La clé de cette performance réside dans les données : au lieu de s'appuyer sur les descriptions alternatives vagues issues du web, l'équipe a généré 800 millions de légendes d'images très détaillées à l'aide de GPT-4.1. Le code source et les poids du modèle ont été publiés sous licence open source. Ce résultat remet en question une hypothèse dominante dans l'industrie de l'IA : celle selon laquelle il faudrait toujours plus de paramètres et de données brutes pour obtenir de meilleures performances. Lens démontre qu'un modèle compact, nourri de données de haute qualité, peut égaler des modèles propriétaires bien plus lourds. Pour les équipes disposant de ressources limitées, cela ouvre la voie à des pipelines de génération d'images performants sans investissement massif en infrastructure. Cette publication s'inscrit dans une tendance qui valorise la qualité des données d'entraînement plutôt que leur quantité brute, une philosophie déjà portée par des modèles comme Phi chez Microsoft lui-même. L'utilisation de GPT-4.1 pour générer des descriptions riches et précises rappelle les approches de recaptioning adoptées par Stability AI ou Adobe Firefly. En rendant Lens accessible à tous, Microsoft Research contribue à démocratiser la recherche en génération visuelle, et pourrait accélérer l'émergence de modèles spécialisés plus efficaces dans des domaines comme le design, la médecine ou l'éducation.

Sam Altman affirme que toute une génération de chercheurs a freiné l'IA en sous-estimant le potentiel du passage à l'échelle

Lors d'une conférence à Stanford, Sam Altman a pris la défense du scaling des grands modèles de langage et s'en est pris directement aux chercheurs sceptiques, affirmant qu'une génération entière de scientifiques a freiné l'avancement de l'IA en sous-estimant ce que l'augmentation de la puissance de calcul et des données pouvait produire. Pour étayer son propos, le PDG d'OpenAI a cité un résultat récent de son entreprise : la réfutation automatisée d'une conjecture mathématique, un type de raisonnement abstrait longtemps considéré hors de portée des systèmes actuels. Cette prise de position tranche dans un débat qui agite le monde de la recherche depuis plusieurs années. De nombreux académiciens et chercheurs avaient soutenu que le scaling seul ne suffirait pas à produire une intelligence générale, et que des approches fondamentalement différentes seraient nécessaires. Si Altman a raison, ces voix critiques n'ont pas seulement eu tort sur le plan technique : elles ont activement ralenti les investissements et les orientations de recherche vers une voie qui s'avère productive. L'enjeu dépasse la fierté intellectuelle, il touche à l'allocation de milliards de dollars en R&D. Le contexte est celui d'une période charnière pour OpenAI, qui multiplie les démonstrations de capacités avancées pour justifier sa valorisation dépassant les 300 milliards de dollars. Les lois de scaling, théorisées notamment par les chercheurs de DeepMind et OpenAI autour de 2020, avaient déjà divisé la communauté. La sortie de modèles comme o3 et GPT-4o relance la question : le scaling est-il un plafond ou une rampe, et qui avait vraiment raison ?

💬 Altman a raison, même si c'est très pratique de le dire quand on vaut 300 milliards. Les paris de recherche se paient cash : sous-estimer le scaling pendant dix ans, c'est des milliards réorientés vers des impasses et des années brûlées pour tout le secteur. La conjecture mathématique réfutée automatiquement, c'est le genre de résultat qui rend le débat difficile à esquiver.

Meta et Stanford présentent Fast Byte Latent Transformer : 50% de bande passante mémoire en moins, sans tokenisation

Des chercheurs de Meta, de Stanford University et de l'Université de Washington ont présenté trois nouvelles méthodes pour accélérer significativement le Byte Latent Transformer (BLT), une architecture de modèle de langage qui traite directement le texte en octets bruts plutôt qu'en tokens. La contribution principale s'appelle BLT Diffusion (BLT-D) et s'attaque à un problème central du BLT : son décodeur local génère les octets un à un, de manière autoregressive, ce qui implique plusieurs passes mémoire là où un modèle tokenisé n'en nécessite qu'une seule. Sur les serveurs modernes de LLM, le goulot d'étranglement n'est pas la puissance de calcul brute mais la bande passante mémoire, c'est-à-dire le coût répété de charger les poids du modèle et les caches KV depuis la mémoire. La solution proposée remplace ce décodage octet par octet par une diffusion discrète par blocs : au lieu de prédire un seul octet à la fois, le modèle génère simultanément des blocs de 4, 8 ou 16 octets en démasquant progressivement les positions les plus certaines à chaque étape, selon deux stratégies, l'une basée sur un seuil de confiance, l'autre sur une contrainte d'entropie cumulative. L'enjeu pratique est considérable. Selon les chercheurs, ces méthodes permettent de réduire la bande passante mémoire à l'inférence de plus de 50%, ce qui se traduit directement par une accélération de la génération de texte. Pour les entreprises qui déploient des LLM à grande échelle, où le coût d'inférence est un facteur économique déterminant, ce gain représente une réduction significative de la latence et des coûts opérationnels. Au-delà de la vitesse, les modèles octet-niveau comme BLT présentent des avantages intrinsèques que les architectures tokenisées peinent à égaler : meilleure gestion du texte multilingue, robustesse accrue face au bruit dans les entrées, et traitement naturel du code, des chiffres et des caractères spéciaux, sans les artefacts produits par les tokenizers comme le byte-pair encoding (BPE). Le BLT avait déjà constitué une avancée notable en démontrant qu'un modèle opérant sur des octets bruts pouvait atteindre les performances des modèles tokenisés à grande échelle, grâce à une segmentation dynamique en patches de longueur variable pilotée par l'entropie locale du texte. Les régions difficiles à prédire reçoivent des patches courts, les passages plus prévisibles des patches plus longs, avec une taille moyenne de 4 octets et un maximum de 8. La majeure partie du calcul s'effectue sur des représentations latentes compressées via trois composants : un encodeur local, un Transformer global, et un décodeur local. Le principal frein à l'adoption industrielle de cette approche restait sa lenteur à l'inférence, rendue pénalisante par le nombre élevé de passes décodeur nécessaires. Les trois techniques introduites dans ce nouveau travail visent directement ce verrou, ouvrant concrètement la voie au déploiement des modèles octet-niveau dans des environnements de production exigeants, où vitesse et coût ne sont pas négociables.