LEANN, un index vectoriel open source qui réduit un index RAG de 60 millions de segments de 201 Go à 6 Go
LEANN, un index vectoriel open source conçu par le Sky Computing Lab de l'UC Berkeley, stocke presque aucun embedding. Il les recalcule au moment de la requête au lieu de les conserver sur disque. Selon le benchmark du dépôt, un index Wikipédia de 60 millions de fragments passe de 201 Go à 6 Go. Dans le cadre de 76 Go de données du papier de recherche, l'index tombe à 4 Go, contre 188 Go pour HNSW. Le travail a reçu le prix du meilleur article de recherche à MLSys 2026. Il s'appuie sur FAISS, utilise par défaut l'embedder Contriever (110 millions de paramètres), se publie sous licence MIT et s'installe avec « uv pip install leann ». Les tests ont tourné sur une machine équipée d'une RTX 4090 et de 32 Go de RAM, ainsi que sur un Mac M1 Ultra. Sur le jeu NQ, avec Qwen3-4B, LEANN et HNSW atteignent la même précision de 25,5 %, contre 18,3 % pour BM25 et 17,9 % pour la compression PQ. Le dépôt rapporte aussi des gains sur des données personnelles : 400 000 messages de discussion passent de 1,8 Go à 64 Mo, et 38 000 entrées de navigateur de 130 Mo à 6,4 Mo.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de MarkTechPost. Lire l'article original →
Le prix à payer est le temps de recherche. Sur NQ, la récupération prend 2,48 s avec LEANN contre 0,05 s pour HNSW, ce qui porte la latence de bout en bout de 20,95 s à 23,34 s, la génération représentant environ 20 s. Sur la RTX 4090, la récupération varie de 1,12 s (GPQA) à 7,12 s (HotpotQA). Sur le Mac, HotpotQA demande 44,80 s, soit 50,1 % du temps total du pipeline. Le recalcul des embeddings pèse encore environ 76 % de la latence d'une requête. Tous les chiffres sont auto-déclarés par les chercheurs.
Cet index rend envisageable la recherche sémantique et le RAG sur des données personnelles directement sur un portable. Il reste sous 5 % du stockage des données brutes, là où HNSW exige 188 Go et sature la mémoire d'une station de 32 Go. DiskANN, qui consomme 270 Go dans ce scénario, répond plus vite (0,03 s sur NQ), mais au prix d'un espace disque bien supérieur. Pour l'utilisateur, l'arbitrage est clair : quelques secondes de latence en échange d'une réduction de stockage de plusieurs dizaines de fois, ce qui permet de garder ses messages, son historique de navigation et ses documents sur sa machine plutôt que dans le cloud.
Le problème visé est paradoxal : les index vectoriels dépassent souvent la taille des données qu'ils indexent. Pour un corpus de 76 Go, il faut 173 Go d'embeddings et un graphe HNSW de 15 Go, soit plus du double des données brutes. LEANN exploite le fait que les index en graphe ne visitent qu'un petit nombre de nœuds par requête. Il conserve un graphe élagué et une table de quantification produit compacte, puis ne recalcule que les nœuds situés sur le chemin de recherche. Trois techniques le rendent praticable : une recherche à deux niveaux, où des distances PQ peu coûteuses classent d'abord les voisins avant un recalcul exact des meilleurs candidats ; un regroupement dynamique, par exemple 64 candidats à la fois, pour mieux utiliser le GPU ; et un élagage qui préserve les nœuds de fort degré, les 2 % de « hubs » gardant davantage de liens. La recherche à deux niveaux apporte en moyenne un gain de 1,4x, porté à 1,8x avec le regroupement. La base de comparaison IVF avec recalcul, inspirée d'EdgeRAG, se révèle jusqu'à 200 fois plus lente.
Pas d'impact direct sur la France/UE