JEPA-Anything : une seule méthode pour 7 domaines, au-delà des modèles du monde spécialisés
Des chercheurs de PhAI Labs, de l'Université chinoise de Hong Kong (CUHK), de Fudan, de Stanford, d'Oxford et de Princeton ont publié JEPA-Anything, un cadre indépendant du domaine pour construire des modèles du monde. Plutôt que de concevoir un modèle prédictif distinct pour chaque discipline, il applique une même recette d'apprentissage à des systèmes très différents. Il étend les architectures prédictives à plongement conjoint (JEPA) grâce à une méthode appelée Orthogonal Predictive Factorization (OPF). Celle-ci découpe la cible latente, de largeur d, en K sous-espaces appris de largeur r, avec d = K × r (K = 4 dans la plupart des expériences). Chaque facteur dispose de son propre prédicteur, et les prédictions sont recombinées par la pseudo-inverse de Moore-Penrose de la matrice de projection, ce qui redonne un état latent complet pour le décodage, la planification ou le déroulement de trajectoires. Trois régularisations évitent l'effondrement des facteurs : une perte d'orthogonalité, une perte d'activité des facteurs et une perte de variance de l'encodeur. Sur CITRIS Interventional Pong, un modèle multi-têtes sans contrainte affiche un nombre de condition de 438,52, contre 1,00005 pour la version orthogonale. Les tests couvrent sept domaines : vision, biologie, trajectoires cliniques, contrôle, dynamique moléculaire, champs physiques et météo.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de MarkTechPost. Lire l'article original →
Les résultats sont globalement favorables, avec des nuances. En biologie unicellulaire, le score de clustering AvgBIO sur PBMC passe de 0,7194 (Cell-JEPA) à 0,7752, et la corrélation de Pearson sur les perturbations Norman de 0,787 à 0,814. Sur 1 000 événements cliniques de la UK Biobank, le PRAUC moyen atteint 0,718 contre 0,711. Sur Interventional Pong, l'erreur quadratique recule de 34,83 % pour une intervention simple, de 12,90 % pour des interventions combinées inédites et de 8,58 % sur six pas de déroulement libre. Les métriques s'améliorent sur les dix tâches de dynamique comparées, dont CausalWorld, DeepMind Control, PDEBench et WeatherBench2. Sur APEBench Burgers, l'erreur à six pas baisse d'environ 44,7 %, pour chaque graine testée. Pour des trajectoires moléculaires de 100 pas, le cadre obtient les plus faibles MAE et RMSD sur l'eau, le quartz, le paracétamol et le benzène. En planification, avec des paramètres égaux à 0,3 % près, le retour CEM progresse sur Walker2d et HalfCheetah, mais Hopper reste favorable au JEPA standard.
L'enjeu dépasse les scores. Une recette unique, transférable de la biologie à la météo, réduirait le coût de conception de modèles du monde spécialisés. Sur le plan scientifique, l'analyse des facteurs a désigné l'association d'IL-18 et du blocage de CD73 comme piste contre le cancer, confirmée en laboratoire sur des co-cultures, des organoïdes de patients, des fragments tumoraux et des souris. Les modes orbitaux latents ont aussi retrouvé la loi de Kepler, avec une pente ajustée de −1,4991 pour −1,5 en théorie. Les JEPA classiques, comme I-JEPA ou V-JEPA 2, reposent sur un encodeur de contexte, un encodeur cible à moyenne mobile exponentielle et un seul prédicteur, qui produit un unique plongement monolithique. Les auteurs y voient un problème d'allocation de capacité : les structures à forte variance dominent et les modes plus faibles reçoivent des gradients contradictoires. Le travail se place face à V-JEPA 2, DINO-WM, DreamerV3 et TD-MPC2, qui reposent sur un état ou une cible latente unique ou catégorielle. Reste à voir si ces gains tiendront sur des benchmarks indépendants et à plus grande échelle.
Pas d'impact direct sur la France/UE