Le modèle PRISM2 interprète les lames de pathologie via un dialogue clinique
Paige et Microsoft ont développé PRISM2, un modèle d'intelligence artificielle capable d'interpréter des lames histopathologiques entières en dialoguant sur leur contenu clinique plutôt qu'en se contentant de classifier des pixels. Le système repose sur un encodeur de type perceiver, entraîné conjointement sur des tuiles de tissu et sur des dialogues cliniques extraits de comptes rendus de pathologie. L'entraînement s'appuie sur 2,3 millions d'images de lames entières et sur 685 507 rapports de pathologie collectés par le Memorial Sloan Kettering Cancer Center dans le cadre de soins courants, convertis en paires questions-réponses par GPT-4o. L'architecture fonctionne en deux phases distinctes : la première entraîne l'encodeur à agréger des milliers d'embeddings de tuiles en une représentation unique par lame, corrélée au langage des rapports médicaux ; la seconde gèle cet encodeur et affine un modèle de langage de 4 milliards de paramètres sur les dialogues, pour lui apprendre les conventions de rédaction des rapports de pathologie. L'encodeur combine deux fonctions de perte simultanées, une contrastive via BioGPT et une autorégressive via Phi-3 Mini, appliquées aux mêmes embeddings de tuiles issus de Virchow2.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de AI News. Lire l'article original →
Cette double approche vise à corriger un défaut connu des modèles existants : l'entraînement contrastif seul produit des représentations efficaces pour la recherche mais faibles en génération de texte, tandis que l'entraînement autorégressif seul risque de surapprendre des motifs textuels superficiels sans capturer de véritables caractéristiques visuelles. Sur les benchmarks, PRISM2 égale ou dépasse la précision équilibrée de produits cliniques déjà calibrés pour la détection des cancers de la prostate et du sein, évalués sur leurs propres jeux de données. Il surpasse également Paige BLN pour la classification des ganglions lymphatiques mammaires, sans entraînement supplémentaire spécifique à cette tâche. En détection pan-cancer, les embeddings diagnostiques atteignent une aire sous la courbe (AUC) de 0,967, contre 0,956 pour les embeddings de base, 0,947 pour l'ancien modèle PRISM et 0,931 pour TITAN. Sur les cancers rares, ce score chute à 0,957, un recul attribué au faible nombre d'exemples d'entraînement disponibles pour ces types de tissus.
Ce travail s'inscrit dans une course plus large à la construction de modèles de fondation pour l'anatomopathologie numérique, un domaine où les diagnostics reposent traditionnellement sur l'examen visuel de lames par des pathologistes, un processus long et sujet à variabilité entre praticiens. En exposant deux embeddings séparés, l'un généraliste pour la prédiction de biomarqueurs, l'autre spécialisé pour le diagnostic et le sous-typage, plus un troisième dédié aux analyses de survie, Paige et Microsoft cherchent à offrir un outil modulable plutôt qu'un système figé sur une seule tâche. La limite du dialogue à un seul tour, sans historique conversationnel dans l'entraînement, montre toutefois que le passage à un assistant véritablement interactif pour les pathologistes nécessitera encore des développements techniques supplémentaires.
Pas d'impact direct sur la France/UE