Le nouveau projet de recherche LeWorldModel (LeWM) de Yann LeCun cible l'effondrement JEPA dans la modélisation prédictive du monde par pixels
Yann LeCun et des chercheurs de Mila, NYU, Samsung SAIL et Brown University ont développé LeWorldModel (LeWM), la première architecture JEPA capable de s'entraîner de bout en bout directement depuis des pixels bruts sans effondrement des représentations. LeWM utilise seulement deux termes de perte — une prédiction d'embeddings et un régulariseur gaussien (SIGReg) — en lieu et place des heuristiques complexes habituelles (EMA, gradients gelés). Le modèle atteint une efficacité remarquable : 200× moins de tokens qu'un modèle concurrent (DINO-WM) et une planification 48× plus rapide (0,98s contre 47s).