Google Deepmind affirme que les générateurs vidéo possèdent déjà les modèles du monde qui manquaient à la vision par ordinateur
Google DeepMind a présenté GenCeption, un système qui détourne un générateur vidéo de son usage habituel pour lui faire accomplir des tâches classiques de vision par ordinateur, comme l'estimation de profondeur ou la segmentation d'images. Le modèle atteint des performances comparables aux meilleurs systèmes spécialisés actuels, alors qu'il a été entraîné avec beaucoup moins de données. Fait notable, son entraînement s'est appuyé presque exclusivement sur des vidéos synthétiques plutôt que sur des images réelles, une approche qui réduit considérablement les besoins en données annotées manuellement.
Résumé et traduction réalisés par Le Fil IA à partir de The Decoder. Lire l'article original →
Cette prouesse technique alimente un débat déjà vif dans la communauté de l'intelligence artificielle : les générateurs vidéo, conçus à l'origine pour produire des images animées réalistes, contiendraient-ils déjà, en creux, une forme de modèle universel du monde physique ? Si cette hypothèse se confirme, les implications sont importantes pour l'industrie de la vision par ordinateur, qui pourrait voir converger deux familles de systèmes jusqu'ici séparées, les modèles génératifs et les modèles de perception. Cela ouvrirait la voie à des architectures plus polyvalentes, capables à la fois de générer et de comprendre le monde visuel, réduisant les coûts de développement pour des applications comme la robotique, la conduite autonome ou l'analyse d'images médicales.
Le débat sur les modèles du monde occupe une place centrale dans la recherche en IA depuis plusieurs années, porté notamment par des chercheurs comme Yann LeCun chez Meta, qui plaide pour des architectures capables d'apprendre une représentation implicite de la physique et de la causalité plutôt que de simplement prédire des pixels. Les résultats de Google DeepMind suggèrent que les générateurs vidéo, entraînés uniquement à prédire des séquences d'images plausibles, développent malgré tout une compréhension exploitable de la structure du monde réel. Reste à savoir si cette capacité se généralise à d'autres tâches de vision plus complexes, et si les grands laboratoires d'IA, entre Google, Meta et OpenAI, orienteront davantage leurs futurs modèles vers cette convergence entre génération et perception.
Pas d'impact direct sur la France/UE
L'idée que les générateurs vidéo pourraient déjà contenir un modèle du monde, c'est le genre de truc qu'on attendait depuis 2 ans. Ce qui me frappe, c'est le coût : entraîné quasi exclusivement sur du synthétique, sans annoter des masses d'images à la main, ça change la donne économique de la vision par ordinateur. Reste à voir si ça généralise au-delà de l'estimation de profondeur, mais si LeCun avait raison sur les modèles du monde, ce serait ironique que ce soit un générateur d'images qui lui donne raison plutôt qu'une architecture pensée pour ça.