RAG natif pixel : guide pratique de l'indexation visuelle de documents

Cet article étant un tutoriel technique (non daté, sans événement d'actualité précis), voici la traduction-résumé en respectant le format demandé :

Un tutoriel technique détaille la construction complète d'un pipeline de recherche documentaire dit "pixel-native", fondé sur l'image plutôt que sur l'extraction classique de texte HTML. La méthode consiste à convertir des pages web et des documents PDF en images, à les découper en tuiles se chevauchant de 1024 par 1024 pixels avec un recouvrement de 128 pixels, puis à générer des embeddings multimodaux via des modèles comme SigLIP (google/siglip base patch16 224), CLIP, ou en option Qwen3 VL Embedding 2B. Ces vecteurs sont stockés dans un index FAISS pour la recherche par similarité, renforcée par un score BM25 basé sur l'OCR et fusionnée grâce à la méthode dite de reciprocal rank fusion, avec un coefficient k de 60. Le système agrège ensuite les résultats obtenus au niveau des tuiles pour produire un classement au niveau du document entier, et expose le tout via un service de recherche FastAPI tournant sur le port 8000. Le tutoriel s'appuie sur cinq pages Wikipédia en exemple, consacrées au RAG, aux bases de données vectorielles, à l'architecture Transformer, à la photosynthèse et à Delhi, avec jusqu'à douze tuiles générées par document.

Cette approche répond à une limite bien connue des systèmes de RAG classiques, contraints de parser du HTML, d'extraire du texte puis de le découper en segments fixes, une méthode fragile face aux tableaux, aux schémas, aux mises en page complexes ou aux PDF scannés. En travaillant directement sur l'image de la page, le pipeline capture aussi la structure visuelle et les éléments non textuels du document. Le tutoriel montre comment évaluer la qualité de la recherche à l'aide des métriques Recall@k et MRR, et comment entraîner un léger adaptateur résiduel par apprentissage contrastif pour affiner les embeddings. En option, les tuiles les mieux classées peuvent être transmises à un modèle vision langage, en l'occurrence Qwen2.5 VL 3B Instruct, pour générer une réponse finale ancrée dans les preuves visuelles retrouvées. Pour des équipes traitant des documents scannés, des rapports financiers en PDF ou des pages web à la mise en page riche, cette architecture promet une recherche plus fidèle sans dépendre d'un parsing texte souvent imparfait.

Ce travail s'inscrit dans une tendance plus large de la recherche en intelligence artificielle vers des systèmes de RAG multimodaux, portée par les progrès récents des modèles vision langage capables de comprendre directement des captures d'écran de documents. Des acteurs comme Alibaba, avec ses familles de modèles Qwen3 VL et Qwen2.5 VL, illustrent cette évolution vers des architectures capables d'indexer un document sans jamais en extraire le texte brut. Le code complet, écrit en Python, s'appuie sur des bibliothèques standards telles que FAISS et Playwright pour le rendu des pages, ainsi que sur des modèles disponibles via Hugging Face, et reste pensé pour tourner sur Google Colab. À terme, cette approche pourrait s'imposer pour l'indexation de contenus riches en mise en page, ouvrant la voie à des moteurs de recherche documentaire plus robustes face à la diversité des formats rencontrés en entreprise.