Xiaomi dévoile RC-S et RC-T, des métriques de suppression d'objets alignées sur la perception humaine, avec un benchmark vidéo réel
Une équipe de recherche de MiLM Plus, la division intelligence artificielle de Xiaomi Inc., a dévoilé PROVE (Perceptual RemOVal cohErence), un nouveau système d'évaluation pour les modèles de suppression d'objets dans les images et les vidéos, dont l'article a été accepté à la conférence ACM MM 2026. Le dispositif associe deux métriques, RC-S pour la cohérence spatiale et RC-T pour la cohérence temporelle, à un benchmark en deux niveaux baptisé PROVE-Bench, construit à partir de vidéos réelles. Les deux métriques évaluent localement la zone retouchée grâce à une discrépance moyenne maximale calculée par fenêtre glissante sur des caractéristiques extraites par le modèle DINOv2, sans jamais nécessiter de vidéo de référence. Le code est publié sous licence Apache 2.0, avec un point d'entrée unique en ligne de commande, runprovemetrics.py, qui exige Python 3.10 ou plus récent, PyTorch 2.6 ou plus récent, Transformers 4.51 ou plus récent, ainsi que les poids du modèle DINOv2-giant, et impose la fourniture d'un masque marquant en blanc les pixels de l'objet supprimé. Sur une seule carte graphique RTX 4090, RC-S traite une image en 134,6 millisecondes, un rythme jugé compatible avec des tests d'intégration continue exécutés chaque nuit.
Résumé et traduction réalisés par Le Fil IA à partir de MarkTechPost. Lire l'article original →
Cette publication répond à un décalage devenu problématique pour l'industrie de l'édition visuelle : les modèles de diffusion effacent désormais ombres, reflets et structures occultées de façon convaincante, mais les métriques historiques comme PSNR, SSIM, LPIPS, ReMOVE ou CFD classent souvent leurs résultats dans le mauvais ordre, car la suppression d'objet est une tâche mal posée qui admet plusieurs reconstructions plausibles pour un même trou. Ces métriques récompensent le copier-coller de pixels plutôt que la véritable régénération, pénalisent à peine les ombres résiduelles, et peuvent même s'améliorer quand la qualité visuelle s'effondre, par exemple lorsqu'on réduit le nombre d'étapes d'inférence d'un modèle de diffusion. PROVE vise donc les équipes de recherche en vision par ordinateur et les ingénieurs en apprentissage automatique travaillant sur des outils d'édition photo et vidéo pour smartphones, le nettoyage de catalogues e-commerce, la publicité, les banques d'images, la postproduction cinéma et effets spéciaux, l'imagerie immobilière et la floutage d'archives cartographiques à des fins de confidentialité, avant d'intéresser les ingénieurs MLOps qui l'intégreraient dans leurs pipelines et les chefs de produit comparant des fournisseurs.
Les auteurs ont documenté les failles des approches existantes avant de construire PROVE : sur le benchmark ROSE-Bench, ils ont progressivement flouté la zone masquée sans que les métriques ReMOVE ou CFD ne se dégradent, celles-ci finissant même par dépasser leur score initial non flouté ; le terme de détection d'hallucination de CFD, fondé sur le modèle SAM, a par ailleurs pénalisé à tort la restauration légitime d'une selle de vélo. Sur le jeu de données DAVIS, les métriques temporelles classiques réagissent à peine à des corruptions injectées volontairement, faute de se concentrer sur la petite portion de l'image réellement modifiée. PROVE se présente comme un outil d'évaluation destiné aux laboratoires et non comme une fonctionnalité produit, avec des limites assumées : il n'est pas conçu pour un scoring en temps réel sur appareil, et peine à capter des effets de bord comme de grandes ombres ou reflets qui débordent de la région recadrée pour l'évaluation.
Les equipes europeennes de vision par ordinateur, d'e-commerce ou de postproduction pourraient adopter cet outil open source, sans impact reglementaire ou economique direct sur la France ou l'UE.