Perplexity lance pplx-embed-v2-context-9b-preview, un modèle d'embedding contextuel qui retrouve les réponses et les preuves associées
Perplexity Research et turbopuffer ont publié pplx-embed-v2-context-9b-preview, un modèle d'embedding contextuel destiné aux pipelines de génération augmentée par récupération (RAG). Chaque segment de texte est encodé en tenant compte du document complet, grâce à la technique du « late chunking » : le document est traité en une seule passe, puis les représentations sont agrégées par segment. La nouveauté tient surtout au signal d'entraînement. Le modèle apprend à retrouver la réponse et le contexte nécessaire pour la vérifier, et non un unique « passage de référence ». Il est disponible en préversion auto-hébergée, avec des poids publiés sur Hugging Face sous licence MIT. Son chargement exige transformers 5.4.0 ou supérieur avec trustremotecode activé. Il n'est pas encore accessible via l'API de Perplexity, et la fiche du modèle prévient que les poids et l'interface peuvent changer sans rétrocompatibilité. Le modèle part d'un modèle de recherche ColBERT interne de 9 milliards de paramètres. Une projection linéaire produit des vecteurs de 2048 dimensions, avec une option à 1024 dimensions grâce à l'entraînement Matryoshka, et un entraînement sensible à la quantification permet des embeddings natifs en int8. L'entraînement a mobilisé environ 430 jeux de données couvrant plus de 50 langues, sans aucune donnée ConTEB.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de MarkTechPost. Lire l'article original →
L'enjeu est concret pour toute équipe qui découpe de longs documents en segments. Un segment dépend souvent d'une entité, d'un titre ou d'une définition situés ailleurs : plusieurs contrats de bail peuvent contenir la phrase « le loyer mensuel est de… » sans qu'un seul passage isolé permette de savoir lequel concerne quel immeuble. Les modèles contextuels répondent à ce problème, mais leur entraînement désigne généralement un seul segment positif par requête. Tous les autres, y compris les phrases qui rendent la réponse vérifiable, deviennent des négatifs. Perplexity y voit trois autres défauts : les étiquettes binaires donnent un signal grossier, le coût d'annotation par LLM croît linéairement avec la taille du jeu de données, et les étiquettes restent liées à une seule stratégie de découpage. Comme le modèle enseignant n'intervient que pendant l'entraînement, l'inférence n'ajoute ni latence ni stockage.
Le professeur est le modèle de compression de contexte sensible à la requête de Perplexity, qui lit la question et le document ensemble et attribue un score à chaque token. La pertinence d'un segment est la moyenne de ses n meilleurs scores, convertie en distribution cible par un softmax à température ajustée sur les segments du document positif, les segments d'autres documents recevant zéro. L'étudiant est entraîné par une divergence KL directe, complétée par une perte InfoNCE au niveau du document, où un document vaut son meilleur segment, une idée inspirée du MaxSim de ColBERT. Chaque lot tire au hasard une stratégie de découpage, les segments étant séparés par un jeton appris <|chunk_sep|> puis moyennés. Comme les scores par token sont réagrégés sans nouvelle annotation, les frontières peuvent changer librement. La version publiée est un « model soup » de plusieurs points de contrôle. Perplexity l'évalue sur context-bench (2 099 requêtes, 38 894 documents, 2 458 072 segments de phrases, classement exhaustif) et la compare à voyage-context-4.
Pas d'impact direct sur la France/UE