OutilsMarkTechPost2sem

Implémentation Python pour le benchmarking de parsing de documents avec LlamaIndex ParseBench

Résumé IASource uniqueImpact UE

LlamaIndex a publié ParseBench, un jeu de données de référence conçu pour évaluer de manière rigoureuse les systèmes d'analyse de documents. Hébergé sur Hugging Face sous l'identifiant llamaindex/ParseBench, ce benchmark est structuré autour de plusieurs dimensions d'évaluation distinctes : extraction de texte brut, reconnaissance de tableaux, interprétation de graphiques et respect de la mise en page. La procédure d'utilisation s'appuie sur un pipeline Python standardisé mobilisant des bibliothèques open source comme datasets, pandas, PyMuPDF (alias fitz), rapidfuzz et rich. Les données sont distribuées au format JSONL, avec des fichiers PDF associés accessibles directement depuis le dépôt Hugging Face via hfhubdownload. Le pipeline de référence décrit dans le tutoriel officiel construit un extracteur de texte léger basé sur PyMuPDF, compare les sorties aux annotations de référence grâce à des métriques de similarité floue (fuzz), et produit des visualisations de la distribution des exemples par dimension.

L'importance de ParseBench réside dans le manque criant de standards objectifs pour comparer les moteurs d'analyse documentaire, qu'il s'agisse de solutions OCR classiques, de modèles de vision-langage ou de parseurs hybrides. Jusqu'ici, les équipes évaluaient leurs systèmes sur des jeux de données internes non reproductibles, rendant toute comparaison inter-organisations impossible. Avec ce benchmark unifié, les développeurs peuvent mesurer la qualité de l'extraction sur chaque dimension séparément, texte, tableaux, graphiques, layout, et identifier précisément où leurs pipelines échouent. Pour les entreprises qui traitent des volumes importants de documents (contrats, rapports financiers, publications scientifiques), disposer d'un tel outil de mesure change concrètement la façon dont on sélectionne et valide un moteur de parsing avant de le passer en production.

ParseBench s'inscrit dans une tendance plus large portée par LlamaIndex, qui cherche à standardiser l'outillage autour des pipelines RAG (retrieval-augmented generation). La qualité de l'extraction documentaire est en effet le maillon critique souvent négligé de ces architectures : un PDF mal parsé produit des embeddings bruités, ce qui dégrade directement les réponses des assistants IA en aval. Plusieurs acteurs du secteur, comme Unstructured, LlamaParse ou encore Docling d'IBM, se livrent une concurrence directe sur ce segment. L'arrivée d'un benchmark public et reproductible oblige désormais ces acteurs à rendre des comptes sur des métriques communes. Les prochaines étapes probables incluent l'intégration de modèles de vision-langage comme GPT-4o ou Qwen-VL comme baselines supplémentaires, et l'extension du benchmark à des formats au-delà du PDF.

Dans nos dossiers

Open weight & Open source

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

1AWS ML Blog

Automatiser la génération de schémas pour le traitement intelligent de documents

Amazon Web Services vient d'enrichir son IDP Accelerator, solution open-source et serverless dédiée au traitement automatisé de documents, d'une nouvelle fonctionnalité baptisée "multi-document discovery". Jusqu'ici, exploiter le traitement intelligent de documents (IDP) exigeait de constituer manuellement un schéma de configuration pour chaque type de document à analyser : définir les classes, identifier des exemples représentatifs, spécifier les champs à extraire. Une contrainte rédhibitoire dès lors qu'une organisation se retrouve avec des milliers de documents non étiquetés et aucune visibilité sur les catégories qui les composent. La nouvelle fonctionnalité répond directement à ce problème : elle analyse une collection de documents inconnus, les regroupe automatiquement par type, puis génère les schémas de configuration prêts à l'emploi. Le pipeline repose sur AWS Step Functions pour l'orchestration, AWS Lambda pour le calcul serverless, Amazon S3 pour le stockage, et les modèles disponibles via Amazon Bedrock pour la génération des schémas, dont le modèle d'embeddings Cohere Embed v4 utilisé par défaut. L'intérêt opérationnel est considérable pour les équipes qui traitent des volumes documentaires hétérogènes. Là où le module Discovery existant nécessitait de connaître ses classes de documents à l'avance et de fournir un exemple par classe, la nouvelle approche supprime ce prérequis. Le système génère d'abord un embedding visuel pour chaque document, en se basant sur la première page uniquement pour les documents multi-pages, puis utilise le score de silhouette pour déterminer automatiquement le nombre de clusters pertinents. Un agent construit avec Strands Agents et un LLM Bedrock analyse ensuite chaque cluster pour identifier le type de document et produire un schéma. Une étape de "réflexion" finale compare l'ensemble des schémas générés pour détecter les chevauchements et incohérences avant validation humaine. Cette approche réduit drastiquement le travail préparatoire qui, à grande échelle, pouvait représenter des semaines de labelling manuel. Le choix des embeddings visuels plutôt que textuels, via OCR, est une décision technique délibérée : la mise en page, le formatage et la structure visuelle d'un document permettent de distinguer des types documentaires même lorsque leur contenu textuel se ressemble. Ce positionnement s'inscrit dans la stratégie plus large d'AWS de faire de Bedrock un socle central pour les workflows d'IA en entreprise, en y adossant des briques comme Strands Agents pour la partie agentique. La solution reste open-source, disponible sur GitHub, ce qui permet aux équipes de l'adapter à leurs propres collections. L'enjeu sous-jacent est de rendre accessibles les initiatives IDP à des organisations qui ne disposent pas des ressources pour classifier manuellement leur patrimoine documentaire avant même de commencer à en extraire de la valeur.

OutilsOutil

1 source

2MarkTechPost

Guide de programmation pour créer des pipelines avancés d'analyse de documents avec Google LangExtract, OpenAI et visualisation interactive

Google a publié LangExtract, une bibliothèque Python conçue pour transformer des documents textuels non structurés en données exploitables par machine, en s'appuyant sur les modèles de langage d'OpenAI. L'outil s'intègre directement avec l'API OpenAI, notamment le modèle gpt-4o-mini, et permet d'analyser une large variété de documents : contrats juridiques, comptes-rendus de réunion, annonces produits ou journaux d'opérations. Le pipeline d'extraction repose sur des prompts configurables et des exemples annotés fournis par le développeur, à partir desquels LangExtract identifie des entités, des obligations, des délais, des risques ou des clauses spécifiques, tout en ancrant chaque résultat à sa position exacte dans le texte source via des intervalles de caractères. Les sorties sont générées en double format : JSONL pour le traitement programmatique, et HTML interactif pour la visualisation directe dans un environnement notebook. L'intérêt concret de LangExtract réside dans sa capacité à industrialiser l'analyse documentaire sans infrastructure lourde. Là où la lecture manuelle de centaines de contrats ou de rapports mobilise des équipes entières, un pipeline LangExtract peut extraire automatiquement les parties contractantes, les conditions de paiement, les pénalités ou les clauses de résiliation, et les organiser en tableaux Pandas directement exploitables pour des workflows d'automatisation ou des systèmes décisionnels. Pour les équipes juridiques, financières ou opérationnelles, cela représente un gain de temps considérable et une réduction des erreurs humaines sur des tâches répétitives à fort enjeu. La bibliothèque supporte également le traitement parallèle via un paramètre max_workers, ce qui rend l'approche viable à l'échelle. LangExtract s'inscrit dans une tendance plus large d'outillage autour des LLM pour l'extraction d'information structurée, un domaine en pleine expansion depuis que les modèles de fondation ont démontré leur capacité à comprendre des textes complexes. Google positionne ici un outil de niveau intermédiaire : plus accessible que de coder une chaîne d'extraction LLM from scratch, mais plus flexible que les solutions no-code. La dépendance à l'API OpenAI (et donc à gpt-4o-mini ou ses successeurs) implique des coûts variables selon le volume de documents traités, ce qui constitue une limite pour les déploiements à très grande échelle. La prochaine évolution attendue de ce type d'outil serait la compatibilité avec des modèles open-source locaux comme Ollama, afin de supprimer cette dépendance externe et de traiter des documents sensibles sans sortir les données du périmètre de l'entreprise.

OutilsOutil

1 source

3AWS ML Blog

Rocket Close révolutionne le traitement des documents hypothécaires avec Amazon Bedrock et Amazon Textract

Rocket Close, filiale de gestion de titres et d'évaluations immobilières au sein du groupe Rocket Companies basée à Detroit, a automatisé le traitement de ses dossiers hypothécaires grâce à une solution développée en partenariat avec le AWS Generative AI Innovation Center (GenAIIC). L'entreprise traitait jusqu'à 2 000 dossiers par jour, chacun comptant en moyenne 75 pages, pour un total potentiel de plus de 500 000 documents par an. Le processus manuel exigeait jusqu'à 10 heures par dossier lors des pics de volume, soit environ 1 000 heures de travail humain quotidien, pour un coût annuel se chiffrant en millions de dollars. La nouvelle solution repose sur Amazon Textract pour la reconnaissance optique de caractères et Amazon Bedrock pour accéder à des modèles de fondation via une API unifiée. Elle atteint une précision globale de 90 % sur la segmentation, la classification et l'extraction de données, et rend le traitement 15 fois plus rapide qu'auparavant. L'impact opérationnel est considérable. En remplaçant un processus manuel chronophage par un pipeline automatisé, Rocket Close libère des ressources humaines pour des tâches à plus haute valeur ajoutée, réduit drastiquement ses coûts par dossier et élimine les goulots d'étranglement qui freinaient sa croissance. Pour les clients finaux, cela se traduit par des délais de traitement bien plus courts lors de l'achat ou du refinancement d'un bien immobilier. La solution est conçue pour absorber des volumes croissants sans dégradation de qualité, ce qui change fondamentalement les possibilités de mise à l'échelle dans un secteur où la vitesse d'instruction des prêts est un avantage concurrentiel direct. Le défi technique était loin d'être trivial : les dossiers hypothécaires sont des assemblages hétérogènes de plus de 60 types de documents différents, mêlant textes dactylographiés, notes manuscrites, tableaux, formulaires, tampons et signatures, avec une mise en forme et un ordre variables d'un dossier à l'autre. C'est précisément cette complexité structurelle qui avait jusqu'ici rendu l'automatisation difficile. L'essor des modèles de fondation multimodaux accessibles via des services managés comme Amazon Bedrock a changé la donne, en permettant une classification contextuelle robuste là où les approches règle-par-règle échouaient. Rocket Close s'inscrit ainsi dans une vague plus large de transformation documentaire dans les secteurs financiers et immobiliers, où les grands groupes cherchent à industrialiser des processus restés manuels faute d'outils suffisamment fiables. La prochaine étape pour l'entreprise sera probablement d'étendre ces capacités à d'autres types de documents tout au long de la chaîne de traitement des prêts.

OutilsOutil

1 source

4AWS ML Blog

Développer des agents IA pour la gestion des effectifs avec Visier et Amazon Quick

Visier, plateforme d'intelligence des ressources humaines basée dans le cloud, et Amazon Quick, l'espace de travail agentique d'IA d'Amazon, ont annoncé une intégration technique permettant à leurs systèmes de fonctionner de concert via le Model Context Protocol (MCP), un standard ouvert d'interopérabilité pour agents IA. Concrètement, Visier centralise les données RH d'une organisation, SIRH, paie, gestion des talents, suivi des candidatures, et les rend accessibles en temps réel à travers son assistant IA interne appelé Vee. Amazon Quick, de son côté, sert d'interface unifiée où les collaborateurs posent leurs questions, automatisent des processus et construisent des agents travaillant en leur nom. Le MCP joue le rôle d'adaptateur universel entre les deux systèmes, sans nécessiter d'intégration personnalisée. L'intérêt concret de cette connexion est illustré par deux profils types : Maya, Business Partner RH qui prépare un bilan de santé organisationnel pour un comité de direction, et David, responsable financier qui suit l'évolution des effectifs par rapport aux budgets prévisionnels. Avant cette intégration, chacun devait interroger plusieurs outils séparément, recouper manuellement des données issues de sources hétérogènes, et passer d'un tableau de bord à l'autre. Désormais, depuis Amazon Quick, ils peuvent poser une question en langage naturel et obtenir une réponse qui croise simultanément les données live de Visier, les politiques internes de recrutement, les objectifs financiers et le contexte historique, sans changer d'outil. Pour Maya, cela signifie accéder instantanément aux taux d'attrition, aux performances moyennes par département ou à la durée de tenure. Pour David, obtenir les chiffres d'effectifs en temps réel mesurés contre les cibles budgétaires. Cette intégration s'inscrit dans une tendance de fond : la multiplication des architectures dites "multi-agents", où des plateformes spécialisées exposent leurs capacités via des protocoles standardisés plutôt que des connecteurs ad hoc. Le MCP, popularisé depuis fin 2024, est devenu le langage commun qui permet à des outils comme Visier de s'insérer dans des écosystèmes IA plus larges sans friction technique. Visier, qui s'appuie sur des données anonymisées de millions de salariés pour ses benchmarks sectoriels, cherche ainsi à étendre sa portée au-delà des équipes RH vers l'ensemble des décideurs de l'entreprise. Amazon Quick, en agrégeant ces sources d'intelligence métier dans un seul espace conversationnel, parie sur le fait que la valeur de l'IA en entreprise réside moins dans les modèles eux-mêmes que dans leur capacité à connecter des silos de données jusqu'ici cloisonnés.

OutilsOutil

1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour