Tencent WeVisOne-VL unifie détection, OCR, segmentation et matting dans un seul modèle
Tencent, via son équipe WeChat Vision, a publié WeVisOne-VL, un modèle vision-langage ouvert décliné en deux tailles : 2B (2,44 milliards de paramètres) et 4B (4,83 milliards), disponibles sur Hugging Face. Construit sur Qwen3-VL, il regroupe dans un seul système la détection, le repérage par description, le comptage, le pointage, la reconnaissance de texte (OCR), la segmentation et le détourage par canal alpha (matting). Les sorties au niveau du pixel proviennent d'un décodeur de seulement 9,6 millions de paramètres, ce qui dispense d'utiliser un SAM séparé. Le modèle répond « None » lorsqu'un objet demandé est absent, au lieu d'inventer une boîte. Selon les tableaux de Tencent, tous auto-déclarés, il dépasse les modèles de même taille sur la plupart de plus de 30 benchmarks : 71,3 de F1 moyen sur Dense200 contre 58,7 pour LocateAnything-3B, 81,8 de F1 sur RefCOCOg contre 77,6, 89,6 % d'exactitude au comptage sur PixMo-Count contre 82,8 %, 52,0 de F1 en OCR sur TotalText contre 25,7 pour PP-OCRv5, et 71,2 de gIoU sur ReasonSeg contre 65,0 pour LISA-13B. En matting, il obtient 7,3 de MAD sur P3M-500-NP, contre 15,4 pour SAM2-Matting (SAM3), et le modèle 2B fait même mieux avec 6,6. Son point faible : un taux de rejet de 52,6 % sur PR-Bench, de sorte que de nombreuses requêtes sur des cibles absentes reçoivent encore une boîte.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de MarkTechPost. Lire l'article original →
Pour les développeurs, l'intérêt est pratique : un seul modèle peut remplacer l'enchaînement d'un détecteur, d'un moteur d'OCR et d'un segmenteur, ce qui simplifie les chaînes de traitement et leur maintenance. L'utilisateur choisit la granularité de sortie : points, boîtes, masques binaires ou mattes continus. Le modèle tourne sur un seul GPU via Transformers ou vLLM en BF16, et le paquet mentionne aussi des cibles NPU et CPU, même si les besoins en mémoire vidéo ne sont pas publiés. Une version GGUF communautaire a déjà exécuté des tâches au niveau des objets sur une RTX 2060 de 6 Go. Sous licence Apache 2.0, il se distingue de concurrents plus restrictifs, comme LocateAnything-3B de NVIDIA, limité à un usage non commercial, ou Rex-Omni d'IDEA Research, soumis à la licence IDEA 1.0.
Sur le plan technique, chaque tâche est formulée comme une prédiction structurée du prochain token. Le modèle ajoute des tokens de coordonnées de <0> à <1000> pour les boîtes et points normalisés, puis émet un token <OBJ> après chaque boîte prédite, dont l'état caché sert de requête au décodeur de pixels. Ce dernier réutilise les caractéristiques multi-niveaux du ViT de Qwen3-VL, s'appuie sur six blocs d'attention croisée déformable et affine le résultat à trois échelles jusqu'à la pleine résolution. L'entraînement s'appuie sur un moteur de données piloté par un graphe de connaissances, qui a annoté plus de 100 millions d'images avec environ 3,6 milliards de boîtes. SAM3, Rex-Omni et un détecteur interne proposaient les régions, vérifiées par Qwen3-VL. Trois étapes de fine-tuning supervisé (dont 90 millions d'exemples pour l'alignement des formats, puis 130 millions d'échantillons pour la spécialisation en matting) ont été suivies d'une phase GRPO sur 178 000 exemples filtrés selon l'incertitude. Le contexte d'entraînement atteint 8 192 tokens, sans indication sur la longueur de contexte en déploiement.
Pas d'impact direct sur la France/UE