OutilsTowards AI8sem

De l'extraction à la précision : évaluer les données de factures extraites avec un LLM comme juge

Résumé IASource uniqueImpact UE

L'article de Krishnan Srinivasan présente un pipeline d'évaluation end-to-end pour mesurer la précision des données extraites de factures par des systèmes IA, en utilisant le pattern LLM-as-a-Judge. Ce pattern consiste à utiliser un LLM non pas pour effectuer la tâche principale, mais pour comparer les résultats extraits (ID de facture, montant, fournisseur) contre une vérité terrain, en produisant un score de précision, une classification et une explication. L'implémentation s'appuie sur Snowflake Cortex avec des données synthétiques, et forme une boucle fermée d'évaluation continue — indispensable pour les systèmes IA agentiques en production.

Dans nos dossiers

Agents IA

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

1AWS ML Blog

Évaluer les agents IA pour la production : un guide pratique de Strands Evals

Évaluer des agents IA en production est fondamentalement différent des tests logiciels classiques : les agents produisent des sorties non déterministes, prennent des décisions contextuelles et opèrent sur plusieurs tours de conversation. Strands Evals est un framework structuré conçu pour l'Agents SDK de Strands, qui utilise des LLMs comme évaluateurs pour mesurer des critères qualitatifs comme la pertinence, la cohérence et la fidélité aux sources. Il propose des évaluateurs intégrés, des outils de simulation multi-tours et des capacités de reporting pour suivre la qualité des agents de façon rigoureuse et reproductible.

OutilsOutil

1 source

2MarkTechPost

Guide complet pour construire un pipeline de détection et suppression des données personnelles avec OpenAI Privacy Filter

OpenAI a mis à disposition sur HuggingFace un modèle de classification de tokens baptisé openai/privacy-filter, conçu pour détecter et masquer automatiquement les données personnelles dans des textes. Un tutoriel détaillé publié cette semaine montre comment construire, étape par étape, un pipeline complet de détection et de rédaction des informations personnellement identifiables (PII) prêt pour la production. Le système, implémenté en Python avec les bibliothèques Transformers d'HuggingFace, PyTorch et pandas, identifie huit catégories de données sensibles : noms de personnes, adresses e-mail, numéros de téléphone, adresses physiques, URL privées, dates, numéros de compte et secrets. Chaque entité détectée est remplacée par un marqueur typé comme [PRIVATEPERSON] ou [PRIVATEEMAIL], ce qui préserve la lisibilité du texte tout en occultant les informations sensibles. Le pipeline fonctionne aussi bien sur GPU que sur CPU, avec un seuil de confiance configurable fixé par défaut à 0,50 pour filtrer les faux positifs. L'intérêt concret de ce type de pipeline est considérable pour les entreprises qui manipulent des données clients avant de les envoyer vers des LLM externes ou des systèmes de journalisation. En substituant les entités sensibles par des placeholders sémantiquement clairs plutôt qu'un simple [REDACTED] générique, le texte reste exploitable par des modèles en aval sans exposer de données privées. Cette approche répond directement aux exigences du RGPD et aux politiques d'utilisation des API d'IA, qui interdisent souvent l'envoi de données personnelles non anonymisées. Le pipeline inclut également un système de rapport structuré convertissant les résultats en dataframes pandas, ce qui facilite l'audit et le traitement par lots à grande échelle. La protection des données personnelles dans les flux d'ingestion vers les LLM est devenue un enjeu critique depuis que des entreprises comme Samsung ont interdit l'usage de ChatGPT en interne après des fuites accidentelles de code source confidentiel. La mise à disposition d'un modèle dédié par OpenAI sur HuggingFace marque une évolution : plutôt que de laisser chaque organisation bricoler sa propre solution d'anonymisation, un modèle de référence mutualisé, entraîné spécifiquement sur cette tâche, peut s'intégrer directement dans les pipelines existants. Le choix d'une architecture de classification de tokens, plus précise que les approches par expressions régulières, permet de gérer les ambiguïtés contextuelles, comme distinguer une date de naissance privée d'une date de publication publique. Les prochaines étapes naturelles pour ce type de système incluent le support multilingue, l'ajout de catégories sectorielles (numéros de sécurité sociale, données médicales), et l'intégration dans des frameworks d'orchestration comme LangChain ou LlamaIndex.

UELe pipeline répond directement aux obligations du RGPD pour les entreprises européennes qui transmettent des données personnelles à des LLM externes, réduisant le risque de non-conformité.

OutilsOutil

1 source

3AWS ML Blog

Affiner les LLM avec des données non structurées via SageMaker Unified Studio et S3

Amazon Web Services a annoncé une intégration entre Amazon SageMaker Unified Studio et les buckets Amazon S3 grand public, permettant d'exploiter des données non structurées directement dans les workflows de machine learning. Le cas d'usage présenté illustre l'affinage du modèle Llama 3.2 11B Vision Instruct — développé par Meta — pour des tâches de questions-réponses visuelles (VQA), comme l'extraction automatique d'informations depuis des reçus ou documents scannés. Le modèle de base atteint un score ANLS de 85,3 % sur le benchmark DocVQA, une métrique mesurant la similarité entre réponse prédite et réponse attendue. Pour l'affinage, AWS utilise le dataset DocVQA de Hugging Face, qui contient 39 500 exemples d'entraînement associant image, question et réponse. Trois versions affinées sont produites avec des volumes de données variables : 1 000, 5 000 et 10 000 images, orchestrées entièrement via SageMaker Unified Studio et évaluées avec Amazon SageMaker MLflow en mode serverless. Cet affinement ciblé permet aux équipes data de dépasser les limites d'un modèle généraliste sans reconstruire une infrastructure complexe de bout en bout. Pour les entreprises traitant des documents à haute valeur — contrats, factures, rapports médicaux — gagner quelques points de précision au-delà de 85 % peut représenter une différence opérationnelle significative. L'intégration native entre S3 et le catalogue SageMaker supprime une friction majeure : les données non structurées (images, PDF, textes bruts) deviennent des actifs directement exploitables par les équipes ML sans pipeline d'ingestion personnalisé. Le suivi des expériences via MLflow serverless permet en outre de comparer objectivement les trois variantes affinées et de documenter les gains de performance, une exigence croissante dans les déploiements enterprise. Cette annonce s'inscrit dans la stratégie d'AWS pour faire de SageMaker Unified Studio une plateforme unifiée couvrant l'ensemble du cycle MLOps, depuis l'ingestion des données brutes jusqu'au déploiement en production. La montée en puissance des modèles multimodaux — capables de traiter simultanément texte et image — crée une demande forte pour des outils d'affinage accessibles, sans que chaque équipe doive maîtriser les subtilités de l'entraînement distribué. AWS positionne ici SageMaker JumpStart comme point d'accès aux modèles fondamentaux, tandis que l'infrastructure d'entraînement repose sur des instances p4de.24xlarge, des GPU haute performance nécessitant une demande d'augmentation de quota. La prochaine étape logique pour AWS sera d'élargir cette intégration à d'autres formats de données non structurées et à davantage de modèles fondamentaux, dans un contexte où Google, Microsoft Azure et les plateformes spécialisées comme Modal ou Together AI se disputent le même terrain des équipes ML entreprise.

OutilsOutil

1 source

4AWS ML Blog

PwC extrait des informations contractuelles grâce à l'annotation IA sur AWS

PwC a développé une solution d'intelligence artificielle baptisée AIDA (AI-Driven Annotation), déployée sur les services cloud d'Amazon Web Services, pour automatiser l'analyse de contrats juridiques et commerciaux. Conçue en collaboration avec les équipes internes du cabinet, cette plateforme combine des modèles de langage de grande taille (LLM) avec des workflows d'extraction automatisés afin de transformer des documents non structurés en données consultables et réutilisables. Concrètement, AIDA offre trois fonctionnalités principales : l'extraction basée sur des modèles personnalisables, un système de questions-réponses en langage naturel à l'échelle d'un seul document, et une interrogation globale sur des milliers de contrats en parallèle. Dans les déploiements clients déjà réalisés, la solution a permis de réduire le temps de relecture manuelle des contrats jusqu'à 90 %, et un grand studio de cinéma et de télévision a vu son temps de recherche de droits chuter de 90 % également. Pour les équipes juridiques, de conformité et d'achats, l'enjeu est considérable. Aujourd'hui, la majorité des entreprises s'appuient encore sur des recherches par mots-clés ou des systèmes de gestion contractuelle classiques, qui peinent à traiter des volumes importants de documents avec une précision constante. AIDA change cette équation en permettant à un utilisateur de poser une question en français ou en anglais sur une clause précise, et d'obtenir une réponse contextuelle assortie de citations directement liées aux passages sources. Cette capacité à interroger simultanément des milliers de contrats en langage naturel réduit les cycles de révision et accélère la prise de décision dans des secteurs comme l'immobilier, les médias ou les achats. Dans le secteur des médias et du divertissement par exemple, AIDA aide producteurs et distributeurs à identifier rapidement les droits de diffusion, de streaming ou de déclinaisons dérivées contenus dans des accords de licence complexes. Cette initiative s'inscrit dans une tendance de fond qui voit les grands cabinets de conseil et d'audit accélérer leur propre transformation par l'IA générative. PwC, comme ses concurrents directs McKinsey, Deloitte ou EY, investit massivement dans des outils propriétaires pour automatiser les tâches à forte intensité documentaire, tout en maintenant une supervision humaine sur les sorties générées par l'IA, ce que la solution impose explicitement avant toute utilisation juridique ou commerciale. Le recours à AWS positionne AIDA dans l'écosystème cloud dominant des grandes entreprises, facilitant son intégration avec des systèmes existants comme les référentiels de documents ou les plateformes de gestion contractuelle. À mesure que les volumes de données contractuelles continuent de croître, ce type d'outil pourrait redéfinir la structure même des équipes juridiques en entreprise, en réorientant les professionnels vers des tâches d'analyse stratégique plutôt que de traitement documentaire.

UEPwC France et ses clients européens peuvent directement adopter AIDA pour automatiser l'analyse contractuelle, la solution supportant explicitement le français pour les équipes juridiques locales.

OutilsOutil

1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour