Aller au contenu principal
Guide de mise en oeuvre des workflows d'explicabilité SHAP : comparaison d'expliqueurs, masqueurs, interactions, dérive et modèles boîtes noires
OutilsMarkTechPost6sem· 2 min de lecture

Guide de mise en oeuvre des workflows d'explicabilité SHAP : comparaison d'expliqueurs, masqueurs, interactions, dérive et modèles boîtes noires

Source originale ↗·

Un nouveau guide de programmation détaille comment construire des workflows d'explicabilité complets à l'aide de SHAP (SHapley Additive exPlanations), la bibliothèque Python devenue un standard de l'interprétabilité des modèles de machine learning. Publié sous forme de tutoriel pratique compatible avec Google Colab, ce guide compare quatre types d'expliqueurs SHAP - TreeExplainer, Exact, Permutation et KernelExplainer - sur des modèles XGBoost entraînés sur le dataset immobilier californien et le dataset de cancer du sein. Les expériences montrent que TreeExplainer est le seul à offrir à la fois précision exacte et rapidité d'exécution pour les ensembles d'arbres de décision, tandis que KernelExplainer, bien qu'agnostique au modèle, s'avère nettement plus lent et moins précis. Le guide couvre également l'influence des maskers lorsque les variables sont corrélées, les valeurs d'interaction pour détecter les effets entre paires de variables, les fonctions de lien pour naviguer entre espace log-odds et probabilités, ainsi que les valeurs d'Owen, le test par cohortes et la sélection de variables pilotée par SHAP.

Au-delà de la visualisation basique de l'importance des variables, ce type de workflow répond à une demande croissante de transparence dans les systèmes d'IA déployés en entreprise. Comprendre pourquoi un modèle prend une décision - et pas seulement quel est le résultat - est devenu une exigence réglementaire dans plusieurs secteurs, notamment la finance, la santé et l'assurance. La comparaison des expliqueurs permet aux data scientists de choisir le bon outil selon le contexte : un modèle boîte noire nécessite une approche agnostique, mais au prix d'un temps de calcul plus élevé et d'une précision moindre. Le guide intègre également un module de surveillance de la dérive (drift monitoring) basé sur les valeurs SHAP, permettant de détecter quand la distribution des contributions des variables change dans le temps - signal d'alerte précoce avant que les performances du modèle ne se dégradent en production.

SHAP, développé par Scott Lundberg et Su-In Lee à l'Université de Washington et publié initialement en 2017, s'appuie sur la théorie des jeux coopératifs pour attribuer équitablement à chaque variable sa contribution à une prédiction donnée. La bibliothèque s'est imposée comme référence dans l'écosystème Python aux côtés de LIME et d'Integrated Gradients. Le cadre réglementaire européen, notamment l'AI Act entré en application progressive depuis 2024, pousse les organisations à documenter et expliquer leurs modèles à risque élevé. Ce guide illustre comment implémenter une chaîne d'explicabilité de bout en bout, depuis l'entraînement du modèle jusqu'au monitoring en production, en couvrant aussi les cas où le modèle interne n'est pas directement accessible - ce qui correspond à la majorité des déploiements réels dans des environnements industriels.

Impact France/UE

Les organisations européennes déployant des modèles à risque élevé dans la finance, la santé ou l'assurance peuvent s'appuyer sur ce type de workflow pour répondre concrètement aux exigences d'explicabilité de l'AI Act.

💬 L'analyse de Mathieu

SHAP, c'est déjà le standard, mais un guide qui va jusqu'au drift monitoring en production, ça c'est utile. Le vrai gain ici c'est la comparaison des expliqueurs : TreeExplainer pour les arbres si tu veux la précision sans sacrifier la vitesse, et KernelExplainer quand t'as pas le choix, en sachant que ça va te coûter en temps de calcul. Avec l'AI Act qui commence à mordre pour de bon, ce type de workflow n'est plus optionnel si tu déploies des modèles en finance ou santé.

Dans nos dossiers

Cet article vous a été utile ?

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

Des workflows guidés par agents pour accélérer la personnalisation de modèles dans Amazon SageMaker AI
1AWS ML Blog 

Des workflows guidés par agents pour accélérer la personnalisation de modèles dans Amazon SageMaker AI

Amazon a lancé une expérience agentique intégrée dans SageMaker AI pour simplifier radicalement la personnalisation des modèles de langage. Jusqu'ici, adapter un modèle fondation à un cas d'usage métier exigeait de maîtriser des techniques comme le Supervised Fine-Tuning (SFT), le Direct Preference Optimization (DPO) ou le Reinforcement Learning Verifiable Rewards (RLVR), de naviguer entre des APIs fragmentées et des formats de données spécifiques à chaque modèle, et de gérer des cycles d'expérimentation qui s'étiraient sur plusieurs mois. Désormais, un développeur peut décrire son cas d'usage en langage naturel, et l'agent de codage prend en charge l'ensemble du parcours: définition du problème, préparation des données, sélection de la technique d'entraînement, évaluation de la qualité du modèle, puis déploiement vers Amazon Bedrock ou un endpoint SageMaker AI. Amazon Kiro, l'agent de développement logiciel d'Amazon, est préconfiguré par défaut dans l'environnement JupyterLab de SageMaker AI Studio, avec complétion de code, débogage assisté et support interactif. Les agents compatibles avec le protocole ACP (Agent Communication Protocol), dont Claude Code d'Anthropic, peuvent également être intégrés et bénéficier des mêmes fonctionnalités. La version 4.1 ou supérieure de SageMaker AI Distribution est requise, ainsi qu'un rôle IAM avec la politique gérée AmazonSageMakerFullAccess. Le coeur du dispositif repose sur des "Skills", des modules d'instructions préconçus et modulaires qui encapsulent l'expertise AWS et data science sur l'ensemble du cycle de personnalisation. Lorsqu'un développeur décrit son besoin, l'agent active automatiquement les Skills pertinents, qui le guident à travers la validation des données, la configuration des hyperparamètres et l'évaluation du modèle via des métriques LLM-as-a-Judge. Chaque étape génère des notebooks directement exécutables, entièrement modifiables et réutilisables dans des workflows existants. Un avantage opérationnel concret: les Skills réduisent la consommation de tokens tout en augmentant la précision des réponses, car l'agent dispose d'un contexte spécialisé plutôt que de connaissances génériques. Les organisations peuvent personnaliser ces Skills pour les aligner sur leurs standards de gouvernance, leurs outils internes et leurs pratiques d'équipe, résolvant ainsi un problème récurrent avec les assistants de codage généralistes qui ne reproduisent pas de manière fiable les conventions maison. L'annonce s'inscrit dans une dynamique plus large où la personnalisation des modèles devient le principal levier de différenciation concurrentielle, tous les acteurs ayant accès aux mêmes modèles fondations publics. Amazon positionne SageMaker AI comme une plateforme bout-en-bout pour les équipes qui veulent exploiter leurs données propriétaires sans assembler elles-mêmes une chaîne d'outils dispersés. La prise en charge du protocole ACP ouvre la voie à un écosystème d'agents tiers, signalant une stratégie d'interopérabilité plutôt que de verrouillage. Les prochaines étapes naturelles incluent l'extension de ce type d'expérience agentique à d'autres phases du cycle MLOps, comme la surveillance des modèles en production ou la gestion des dérives de données.

UELes équipes data européennes utilisant AWS SageMaker AI peuvent accélérer leurs projets de fine-tuning de modèles fondation sans expertise MLOps avancée, réduisant les délais de personnalisation sur données propriétaires.

OutilsOutil
1 source
Les entreprises peuvent entraîner des modèles d'IA personnalisés depuis leurs workflows de production, sans équipe ML
2VentureBeat AI 

Les entreprises peuvent entraîner des modèles d'IA personnalisés depuis leurs workflows de production, sans équipe ML

Empromptu AI, une startup basée à San Francisco, a lancé jeudi une plateforme baptisée Alchemy Models, conçue pour transformer automatiquement les workflows de production d'entreprise en données d'entraînement pour des modèles d'IA personnalisés. Le principe est simple : chaque requête traitée par une application IA, chaque correction apportée par un expert métier à ses résultats, constitue un signal d'apprentissage. Jusqu'ici, ces données disparaissaient dans le vide. Alchemy les capte en continu via une infrastructure appelée Golden Data Pipelines, soumet les sorties de l'application à des experts internes pour validation, puis utilise ces données vérifiées pour lancer des cycles de fine-tuning successifs. Les modèles résultants, que la société appelle Expert Nano Models, sont de petits modèles spécialisés sur une tâche précise plutôt que sur le raisonnement général. L'entreprise est dirigée par Shanea Leven, qui a présenté la plateforme en exclusivité à VentureBeat. Les clients conservent la propriété intégrale des poids du modèle, qui sont portables et exportables moyennant frais. La plateforme est compatible avec Llama, Qwen et d'autres modèles de base. L'enjeu commercial est direct pour les entreprises qui s'appuient aujourd'hui sur des API de modèles fondamentaux : les coûts d'inférence augmentent avec l'usage, les données qui entraînent ces modèles profitent aux fournisseurs et non aux clients, et la personnalisation pour des tâches métier spécifiques reste limitée. Alchemy propose une sortie de cette dépendance en faisant de l'application elle-même la source de données d'entraînement, sans équipe ML ni étape séparée de collecte et d'étiquetage. Comme le résume Leven : "L'application IA que les clients construisent déjà nettoie les données." La gouvernance, les garde-fous et les contrôles de conformité sont intégrés au même pipeline, ce qui signifie que la traçabilité suit le processus d'entraînement. La contrainte principale reste le volume : les premiers déploiements tournent sur le modèle de base le temps que l'application accumule suffisamment de données de production pour déclencher un cycle de fine-tuning utile. Sur le marché du fine-tuning entreprise, Empromptu se positionne face à des acteurs établis comme OpenAI avec son API de fine-tuning et Amazon Web Services avec Bedrock Custom Models. Ces deux solutions imposent aux organisations d'apporter leurs propres jeux de données préparés séparément et de gérer le processus en dehors de leur stack applicatif, ce qui nécessite une équipe ML dédiée. La différenciation d'Alchemy repose sur l'intégration : le workflow applicatif est le pipeline d'entraînement, et non un projet distinct. La question de la soutenabilité économique et du délai avant le premier cycle de fine-tuning efficace reste ouverte, Leven elle-même reconnaissant sans détour que "l'entraînement du modèle prendra du temps". La startup s'adresse à un moment charnière où de nombreuses entreprises cherchent à protéger leur avantage compétitif face à la généralisation rapide des outils IA.

OutilsOutil
1 source
Conception d'un pipeline d'extraction de factures guidé par schéma avec lift-pdf, pour la validation et la génération de grand livre en comptabilité fournisseurs
3MarkTechPost 

Conception d'un pipeline d'extraction de factures guidé par schéma avec lift-pdf, pour la validation et la génération de grand livre en comptabilité fournisseurs

Une équipe de développeurs a publié un tutoriel démontrant comment construire un pipeline complet d'extraction de factures fournisseurs à l'aide de la bibliothèque lift-pdf, associée à un schéma JSON structuré définissant les champs à extraire. Le système traite des factures PDF synthétiques générées pour l'occasion, avec des champs comme l'identité du vendeur, le tiers facturé, le numéro de bon de commande, les lignes de produits, la taxe, le montant total et le statut de paiement. La configuration par défaut fixe le traitement à trois documents (N_DOCS=3), avec des options pour forcer une précision complète du modèle ou une quantification en 4 bits, prévisualiser la première page du PDF généré, ou tester le pipeline sur un vrai document. L'installation repose sur des bibliothèques comme reportlab et pypdfium2 pour la génération et le rendu des PDF, pandas et matplotlib pour l'analyse, ainsi que lift-pdf avec son extension Hugging Face, bitsandbytes et accelerate pour l'inférence. Un détail technique notable: Pillow est volontairement figé à la version 11.3.0 pour contourner un problème de compatibilité connu entre cette bibliothèque, torchvision et Transformers sur Google Colab. Le script vérifie aussi la présence d'un GPU CUDA compatible, recommandant une carte A100 tout en acceptant des modèles L4 ou T4. L'intérêt de cette approche dépasse la simple reconnaissance de texte: au lieu d'un OCR brut, le modèle doit comprendre la structure et la logique métier d'une facture. Le tutoriel intègre volontairement des pièges réalistes rencontrés par les équipes comptables, comme la distinction entre l'adresse de facturation et l'adresse de livraison, la séparation entre le sous-total et le montant final après taxes, le renvoi d'une valeur nulle quand une information est absente, ou encore la classification correcte d'une facture partiellement payée comme non soldée tant qu'un solde reste dû. Cette rigueur rend l'extraction directement exploitable pour générer automatiquement des registres comptables fiables, un enjeu concret pour les équipes de comptabilité fournisseurs qui traitent des volumes importants de documents hétérogènes. Ce projet s'inscrit dans une tendance plus large de l'intelligence documentaire guidée par schéma, où les modèles de langage ne se contentent plus de lire du texte mais produisent des données structurées directement utilisables par des systèmes en aval. L'utilisation de la quantification en 4 bits via bitsandbytes permet de réduire les besoins en mémoire GPU, rendant ce type de pipeline accessible sur du matériel plus modeste comme les GPU L4 ou T4, et pas uniquement sur des cartes haut de gamme. Le choix de documents synthétiques comme base de test contrôlée, avec la possibilité d'étendre l'expérience à de vraies factures PDF, illustre une méthodologie de validation progressive avant déploiement en conditions réelles.

💬 Ce qui compte ici, ce n'est pas l'extraction de texte, c'est que le modèle doit piger qu'une facture partiellement payée reste une facture ouverte. Selon Le Fil IA, l'IA documentaire passe d'un problème d'OCR à un problème de logique métier, et c'est ça qui va décider si les équipes compta y touchent un jour. Après, le pipeline tourne sur un GPU L4 dans un tutoriel avec trois factures bidon, donc reste à voir si ça encaisse le bazar d'une vraie pile de PDF scannés de travers.

OutilsTuto
1 source
Guide complet d'utilisation de ModelScope : recherche de modèles, inférence, fine-tuning, évaluation et export
4MarkTechPost 

Guide complet d'utilisation de ModelScope : recherche de modèles, inférence, fine-tuning, évaluation et export

ModelScope, la plateforme de partage de modèles d'intelligence artificielle développée par Alibaba et son laboratoire DAMO Academy, s'impose comme une alternative crédible à Hugging Face pour les développeurs souhaitant accéder à des modèles pré-entraînés, des jeux de données et des pipelines d'inférence. Un tutoriel complet publié récemment détaille un workflow de bout en bout exécutable sur Google Colab, couvrant l'installation de l'environnement, la recherche de modèles via le hub ModelScope, le téléchargement de snapshots comme BERT, le chargement du jeu de données IMDB, le fine-tuning d'un classificateur de sentiment, son évaluation et son export pour déploiement. La procédure repose sur un écosystème de bibliothèques Python incluant PyTorch, Transformers d'Hugging Face, Accelerate, scikit-learn et Optimum, avec une compatibilité GPU vérifiée dès le départ via CUDA. Ce type de guide pratique a une valeur concrète pour les équipes d'ingénierie et de recherche qui cherchent à industrialiser leurs workflows IA sans repartir de zéro. En montrant que ModelScope s'intègre nativement avec les outils Hugging Face, notamment les pipelines Transformers pour l'analyse de sentiment ou la vision par ordinateur, le tutoriel réduit la barrière à l'entrée pour les équipes déjà familières de cet écosystème. La possibilité de télécharger localement des snapshots de modèles, d'accéder à des datasets comme IMDB via l'API MsDataset, et d'exporter les modèles fine-tunés vers des formats de production (via Optimum) en fait un outil pertinent aussi bien pour l'expérimentation que pour des déploiements à plus grande échelle. ModelScope a été lancé en 2022 par Alibaba DAMO Academy avec l'ambition de construire un écosystème ouvert de modèles centré sur la communauté chinoise et internationale du machine learning. La plateforme héberge des milliers de modèles dans des domaines variés, NLP, vision, audio, multimodal, et se positionne directement face à Hugging Face, qui reste la référence mondiale avec plus de 500 000 modèles disponibles. La dépendance au réseau chinois pour certaines API (la recherche de modèles peut être indisponible hors de Chine, comme le mentionne le tutoriel lui-même) constitue une friction réelle pour les utilisateurs occidentaux. Néanmoins, avec l'accélération des sorties de modèles chinois performants comme Qwen, DeepSeek ou Yi, ModelScope devient un point d'accès incontournable pour quiconque souhaite travailler avec ces modèles dès leur publication, souvent avant leur disponibilité sur d'autres plateformes.

OutilsTuto
1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, l'essentiel de l'IA · désinscription en un clic