Yandex présente Sona : un seul modèle génératif de recommandation remplace toute la cascade de recommandation
Yandex a présenté Sona, un modèle génératif unique qui fusionne la génération de candidats et le classement, deux étapes habituellement confiées à des modèles distincts dans les systèmes de recommandation. Lors d'un test A/B de sept jours sur ses enceintes connectées, un seul transformeur a remplacé plus de 15 générateurs de candidats, l'étape de pré-classement et celle de classement. L'ancienne pile de Yandex Music reposait sur des centaines de variables, dont des signaux d'Argus, son précédent transformeur de recommandation. Sona n'utilise aucune variable conçue à la main : il s'appuie sur des champs d'événements bruts (identifiants de titre et d'artiste, durée, mentions « j'aime », temps d'écoute) et sur des identifiants sémantiques appris. Chaque morceau devient un triplet de codes issus d'un grand modèle multimodal figé, qui lit le spectrogramme des 90 premières secondes ainsi que le titre, les artistes et les tags, puis d'une quantification en trois dictionnaires de 32 000 entrées. Le rappel@1000 passe ainsi de 0,8111 à 0,8524 face à une base audio CLMR. L'encodeur traite 8 192 événements passés : les 2 048 plus récents passent par sept couches d'auto-attention, les plus anciens par une attention croisée et une seule couche d'historique complet, pour environ moitié moins de coût d'inférence. Un décodeur à deux couches produit les triplets par recherche en faisceau contrainte (largeur 1 024), puis un module de classement à quatre couches note les titres correspondants.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de MarkTechPost. Lire l'article original →
Ce module apprend d'un « Teacher Ranker » de 0,6 milliard de paramètres, absent en production. Cette méthode, appelée Rollout Distillation, fait noter par le professeur les candidats générés par le décodeur ainsi que les impressions réelles. Retirer le pré-entraînement du professeur fait chuter la précision par paires pondérée de 0,6215 à 0,6153. L'entraînement reste en ligne : les événements sont agrégés en sessions de 15 minutes et de nouveaux poids arrivent en service toutes les 10 minutes, avec une latence de bout en bout de 45 minutes en médiane et 60 minutes au 99e centile. Le serveur Triton de NVIDIA, avec graphes CUDA, atteint 41 % d'utilisation des FLOPs du modèle.
L'enjeu est de taille pour l'industrie. Dans une cascade, chaque étage optimise son propre objectif et le classeur ne voit que ce que les étages amont lui laissent passer. Un système unifié autour d'une représentation partagée de l'utilisateur supprime ces pertes d'information et réduit la charge d'ingénierie liée à la maintenance de dizaines de composants et de centaines de variables. Pour les utilisateurs, la lecture peut démarrer sans choisir d'artiste, de genre ou d'ambiance, ce que les chercheurs qualifient de cadre de pure recommandation.
Ce travail s'inscrit dans le mouvement des recommandeurs génératifs fondés sur les identifiants sémantiques, formalisés notamment par Rajput et ses collègues, qui transposent aux catalogues les méthodes des grands modèles de langage. Yandex y poursuit la logique d'Argus, mais en remplaçant l'ensemble de la chaîne plutôt qu'un seul étage. Les rivaux comme Google, Meta ou Spotify explorent des pistes voisines, et la question est désormais de savoir si cette architecture résistera à d'autres surfaces et à des catalogues plus vastes.
Pas d'impact direct sur la France/UE