Datalab publie OmniParseBench : un benchmark OCR ouvert de 16 288 tests réussite/échec pour auditer les analyseurs OCR
Datalab a publié OmniParseBench, un benchmark ouvert pour évaluer les outils d'analyse de documents (OCR). Il repose sur 16 288 tests binaires réussite/échec, appliqués à 2 937 pages issues de 2 343 documents rédigés dans 92 langues. Le jeu de données et le code sont publics. Il s'agit d'un banc d'essai, pas d'un modèle : il s'installe avec « uv pip install omni-parse-bench », exige Python 3.11 ou plus, et note les sorties hors ligne, sans clé d'API. Chaque test pose une question oui/non sur une page, et le score d'un parseur est la part de tests réussis. Le score final est la moyenne de trois familles : texte, tableaux et mise en page. Cinq types de tests les alimentent : présence d'un texte, d'un nombre ou d'une équation, ordre entre deux passages, répétition exacte d'une ligne, position d'une cellule de tableau, nature d'un bloc (titre, texte ou tableau). Les nombres doivent correspondre chiffre pour chiffre, et les équations sont comparées d'après leur rendu KaTeX. Aucun modèle ne juge les résultats. Au lancement, Gemini 3.8 Flash mène avec 92,9, devant Datalab accurate (92,7), Datalab balanced (91,6), Reducto (90,8), LlamaParse (90,4) et Mistral OCR (89,5). Claude Sonnet 5.5 (88,7) obtient les meilleurs scores en texte (93,1) et en tableaux (95,4), mais seulement 77,5 en mise en page. Tesseract plafonne à 17,6 en texte et n'est pas évalué sur la mise en page. Gemini et Claude ont servi à créer ou vérifier certains tests, ce que Datalab signale.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de MarkTechPost. Lire l'article original →
L'intérêt tient à la granularité. Chaque argument testé porte des étiquettes sur cinq axes (structure, rendu, rôle, écriture, langue), qui ne modifient jamais le verdict mais permettent de filtrer les tests. Un ingénieur peut ainsi calculer un score pour ses propres cas : 6 767 tests portent sur des tableaux (1 000 pages), 10 089 sur l'anglais et 1 931 sur d'autres langues (529 pages). La question passe de « quel est le meilleur parseur ? » à « lequel gère des documents comme les miens ? ». Les écarts sont d'ailleurs minces : les trois premiers se tiennent en 1,3 point, alors que les profils diffèrent nettement, comme le montrent Extend (83,3, dont 64,1 en texte) ou Claude. Chaque test consigne aussi sa dérivation, c'est-à-dire la façon dont sa réponse a été établie, parmi dix origines possibles : XML JATS d'éditeurs, couche texte du PDF, pages rédigées, tests d'olmOCR-bench, panels de modèles ou relecture humaine. Datalab, qui vend un parseur, voit son meilleur réglage terminer deuxième, ce qui renforce la crédibilité de l'exercice.
Datalab justifie ce projet par les limites des références existantes. Selon l'entreprise, olmOCR-bench a prouvé l'utilité des tests unitaires réussite/échec, mais il est désormais saturé : les meilleurs systèmes s'y distinguent par leurs conventions de sortie et le surapprentissage plutôt que par la qualité de lecture. Chaque test y est de plus rangé dans une seule catégorie, déterminée par la source de la page, si bien qu'un tableau manuscrit se dilue dans le groupe de sa page. ParseBench de LlamaIndex découpe l'analyse en cinq capacités avec une métrique propre à chacune ; Datalab juge ces scores sans unité commune, donc difficiles à comparer ou à combiner. Le marché du parsing, où se côtoient éditeurs spécialisés (Datalab, Reducto, LlamaIndex, Extend), grands fournisseurs cloud (Azure) et modèles généralistes (Gemini, Claude, GPT-5.6 Sol), reste très disputé, et la neutralité des évaluations y est un enjeu croissant. Le caractère ouvert du code et des données permettra à la communauté d'auditer, d'étendre et de contester ces résultats.
Les entreprises françaises et européennes qui traitent des documents multilingues peuvent comparer les analyseurs OCR, dont Mistral OCR, sur 92 langues avec un banc d'essai ouvert.