Aller au contenu principal
Infrastructure · Actu ·

Présentation : passer à l'échelle les systèmes de classement basés sur des LLM pour la recherche et la recommandation à faible latence

Lors de la conférence QCon AI, Sundara Raman Ramachandran, ingénieur responsable de l'équipe d'inférence LLM de LinkedIn et contributeur open source à SGLang (où il a surtout travaillé sur l'API de scoring), a détaillé comment la plateforme met en production des systèmes de classement fondés sur des grands modèles de langage, sous des contraintes strictes de latence P99. Il a expliqué que l'équipe a distillé un modèle de 7 milliards de paramètres vers une version de 400 millions, compressé les contextes d'offres d'emploi en embeddings d'un seul jeton pour multiplier le débit par dix, et éliminé des goulots d'étranglement cachés, depuis les masques d'attention flash personnalisés jusqu'aux contournements du GIL de Python, à l'usage de gc.freeze et aux copies mémoire CUDA non bloquantes. Le service s'appuie sur une chaîne en trois étapes : une couche de compréhension des requêtes, une couche de récupération qui sélectionne les K offres les plus pertinentes parmi des millions, puis le classeur, qui fixe l'ordre d'affichage final.

2 min de lecture

Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie

Source

Résumé et traduction réalisés par Le Fil IA à partir de InfoQ AI. Lire l'article original →

L'enjeu est considérable, car LinkedIn compte environ 1,3 milliard de membres dans 200 pays et doit absorber un nombre de requêtes par seconde très élevé pour le classement et les recommandations. Les utilisateurs passent désormais de la recherche par mots-clés et filtres à des formulations en langage naturel, comme « trouve-moi des postes de designer dans l'industrie du divertissement » ou « qui, dans mon réseau, peut m'aider à déposer un brevet ? ». Les LLM comprennent mieux ces intentions complexes et fournissent de meilleurs résultats, mais leur coût de calcul rend la tenue des délais de réponse particulièrement difficile à cette échelle. Les gains obtenus par la distillation et la compression de contexte montrent qu'il est possible de rendre ces modèles viables en production sans sacrifier la réactivité, un enseignement utile pour toute entreprise confrontée à des charges de recherche et de recommandation sensibles à la latence.

Le conférencier a replacé ce travail dans l'évolution plus large de la recherche, qui devient conversationnelle et exige de transformer un texte brut et ambigu en représentation structurée et normalisée exploitable par les systèmes en aval. Dans la couche de compréhension des requêtes, un planificateur identifie d'abord les critères (par exemple titre de poste et lieu) et définit la manière de les exécuter, puis un étiqueteur enrichit la requête avec des données du profil du membre, comme son intitulé de poste, sa localisation et ses filtres de recherche. Il a pris l'exemple d'un ingénieur logiciel de la Baie de San Francisco avec cinq ans d'expérience qui saisit « trouve des emplois d'ingénieur logiciel près de chez moi ». Le reste de l'intervention est consacré à la couche de classement, où se concentrent les optimisations d'infrastructure, et s'inscrit dans le cadre de QCon AI, un événement destiné aux praticiens qui présente les architectures et les mesures d'échec utilisées en production par des organisations comparables.

À lire ensuite

01Présentation : l'avantage méconnu du cache KV pour servir des LLM à grande échelleInfoQ AIInfrastructure 02NVIDIA lance DSX pour qualifier les produits d'alimentation et de refroidissement des usines d'IANVIDIA AI BlogInfrastructure 03L'écosystème de l'IA en Égypte passe du soutien à l'exécution et atteint l'échelle de productionNVIDIA AI BlogInfrastructure 
Dossier · CUDASuivi en continu par Le Fil IASuivre ce sujet →

Le brief du matin

L'essentiel de l'IA chaque jour. Gratuit, désinscription immédiate à tout moment.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, l'essentiel de l'IA · désinscription à tout moment

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.