Aller au contenu principal
RechercheApple Machine Learning · 1 min de lecture

Recherche vidéo incrémentale personnalisée : hybridation d'embeddings texte et ID

Source originale ↗·

Recherche personnalisée pour la recherche vidéo instantanée sur Apple TV, où chaque frappe au clavier doit renvoyer des résultats pertinents alors que l'intention de l'utilisateur reste floue, parfois réduite à un préfixe d'une à trois lettres. Pour répondre à ce défi, une équipe de recherche a conçu un système combinant deux types de signaux au moment du classement des résultats. Le premier, baptisé TextEmb, est un encodeur de texte multilingue affiné par apprentissage contrastif à partir de triplets de coengagement, c'est-à-dire des contenus consultés ensemble par les utilisateurs. Le second, IdEmb, est un modèle d'embeddings collaboratifs fondé sur les identifiants des contenus, entraîné à partir d'exemples positifs tirés directement des interactions des utilisateurs. Ces deux espaces vectoriels sont ensuite combinés pour construire, en temps réel, une représentation personnalisée de chaque utilisateur.

Cette approche hybride vise à résoudre un problème concret pour tout service de streaming vidéo: proposer des résultats pertinents dès les premières lettres tapées, sans attendre une requête complète. En croisant la proximité sémantique du texte avec les habitudes de visionnage individuelles, le système peut anticiper une intention encore ambiguë et hiérarchiser les contenus qui correspondent le mieux au profil de chaque utilisateur, plutôt que de se limiter à une correspondance textuelle générique.

Cette recherche s'inscrit dans une tendance plus large de l'industrie du streaming, où la personnalisation de la recherche devient un axe de différenciation aussi stratégique que celle des recommandations. Les moteurs de recherche incrémentale, courants sur les téléviseurs connectés où la saisie au clavier ou à la télécommande est lente et imprécise, doivent compenser ce handicap par une meilleure compréhension du contexte utilisateur. En combinant signaux sémantiques et collaboratifs plutôt que de miser sur un seul type de modèle, cette méthode ouvre la voie à des systèmes de recherche vidéo plus réactifs, potentiellement applicables au-delà d'Apple TV à d'autres plateformes de streaming confrontées aux mêmes contraintes d'interface.

Cet article vous a été utile ?

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

1Apple Machine Learning 

CLaRa : relier recherche documentaire et génération grâce au raisonnement latent continu

Des chercheurs présentent CLaRa (Continuous Latent Reasoning), un nouveau cadre technique destiné à améliorer la génération augmentée par récupération (RAG), une méthode qui permet aux grands modèles de langage de s'appuyer sur des documents externes pour répondre aux questions. Le problème identifié par les auteurs est double: les contextes récupérés sont souvent trop longs à traiter, et les étapes de récupération et de génération sont optimisées séparément, ce qui limite les performances globales du système. CLaRa propose de résoudre ces deux limites en unifiant récupération et génération dans un même espace continu, où les documents sont compressés sous forme de vecteurs plutôt que conservés en texte intégral. Pour produire ces représentations compressées, l'équipe a développé SCP, une méthode de synthèse de données qui préserve les informations clés en s'appuyant sur des exercices de question réponse et de reformulation. L'enjeu pratique est de taille pour les applications d'IA générative en entreprise, où le RAG est devenu un standard pour connecter les modèles de langage à des bases de connaissances propriétaires sans réentraînement complet. Réduire la longueur des documents transmis au générateur diminue les coûts de calcul et la latence, tout en conservant les informations essentielles grâce à des vecteurs plus denses sémantiquement. Une optimisation conjointe entre récupération et génération pourrait aussi améliorer la pertinence des réponses produites, un point faible connu des systèmes RAG classiques où les deux composants sont entraînés indépendamment. Cette recherche s'inscrit dans une tendance plus large visant à repenser l'architecture du RAG face à l'explosion des besoins en contexte long. Plusieurs laboratoires travaillent actuellement sur des méthodes de compression et de raisonnement latent pour rendre les modèles plus efficaces sans sacrifier la qualité des réponses, un compromis central alors que les entreprises déploient massivement ces technologies à grande échelle.

RecherchePaper
1 source
Fortress : une étude de cas sur la stabilisation des recommandations de recherche par augmentation temporelle des données et élagage des caractéristiques
2Apple Machine Learning 

Fortress : une étude de cas sur la stabilisation des recommandations de recherche par augmentation temporelle des données et élagage des caractéristiques

Une équipe de chercheurs a présenté Fortress, un nouveau cadre méthodologique destiné aux systèmes de recherche et de recommandation, conçu pour résoudre un problème récurrent dans les modèles prédictifs : l'instabilité temporelle des scores générés par certaines variables d'entrée. Le principe repose sur l'identification puis l'élimination des caractéristiques qui provoquent des fluctuations incohérentes dans les prédictions au fil du temps. Pour y parvenir, Fortress s'appuie sur des instantanés historiques et des jeux de données partitionnés selon des périodes temporelles distinctes, permettant de comparer la stabilité des scores produits par un même modèle à différents moments. Cette approche combine ainsi une forme d'augmentation de données temporelle avec un élagage ciblé des variables jugées trop volatiles. L'enjeu dépasse la simple performance technique. Dans les systèmes de recherche et de recommandation à plusieurs étages, où les décisions d'un module alimentent directement le suivant, la moindre incohérence dans les scores peut se propager et dégrader l'expérience utilisateur, par exemple en modifiant sans raison apparente le classement de résultats pourtant pertinents. En stabilisant les prédictions dans la durée, Fortress vise à rendre ces systèmes plus fiables et plus prévisibles, un critère de plus en plus recherché par les équipes qui exploitent ces modèles en production à grande échelle. Ce travail s'inscrit dans une tendance plus large de l'industrie de la recherche et de la recommandation, où l'attention se déplace progressivement de la seule précision brute des modèles vers leur robustesse et leur cohérence dans le temps. Face à des jeux de données qui évoluent constamment, garantir qu'un modèle ne se comporte pas de façon erratique d'une mise à jour à l'autre devient un enjeu central, ouvrant la voie à d'autres recherches sur la détection automatique de features instables.

RecherchePaper
1 source
Optimisation de politique relative de groupe personnalisée pour l'alignement aux préférences hétérogènes
3Apple Machine Learning 

Optimisation de politique relative de groupe personnalisée pour l'alignement aux préférences hétérogènes

Des chercheurs ont proposé une nouvelle méthode d'alignement des grands modèles de langage (LLM) baptisée Personalized Group Relative Policy Optimization (P-GRPO), conçue pour adapter le comportement des modèles aux préférences individuelles plutôt qu'à un objectif global unique. Le travail s'attaque directement aux limites du GRPO standard, l'un des cadres d'apprentissage par renforcement les plus utilisés aujourd'hui, dont la normalisation par groupe suppose implicitement que tous les exemples d'entraînement sont interchangeables. Ce postulat pose un problème fondamental : en pratique, des utilisateurs différents ont des attentes radicalement différentes, et les méthodes actuelles comme le RLHF (Reinforcement Learning from Human Feedback) lissent ces divergences au profit d'une réponse moyenne. Le résultat est un modèle techniquement performant mais incapable de s'adapter à un médecin, un étudiant ou un développeur qui n'attendent pas du tout la même chose d'un assistant IA. P-GRPO cherche à corriger cela en traitant séparément les distributions de récompenses propres à chaque profil utilisateur. L'enjeu dépasse la simple personnalisation de surface. Alors que l'industrie s'oriente vers des assistants IA déployés dans des contextes très variés — santé, éducation, entreprise — la capacité à aligner finement un modèle sur des groupes hétérogènes devient un avantage compétitif majeur. Ce travail s'inscrit dans une tendance de fond : après avoir maximisé les capacités générales des LLM, les laboratoires de recherche cherchent maintenant à affiner leur adéquation aux besoins réels des utilisateurs finaux.

RecherchePaper
1 source
Fonctions d'activation Sigmoid et ReLU : le coût en inférence de la perte de contexte géométrique
4MarkTechPost 

Fonctions d'activation Sigmoid et ReLU : le coût en inférence de la perte de contexte géométrique

Les réseaux de neurones profonds peuvent être compris comme des systèmes géométriques : chaque couche transforme l'espace d'entrée pour construire des frontières de décision de plus en plus complexes. Une étude comparative récente explore comment deux fonctions d'activation fondamentales, Sigmoid et ReLU (Rectified Linear Unit), influencent cette géométrie interne et, par conséquent, l'efficacité des modèles lors de l'inférence. L'expérience repose sur un jeu de données synthétique classique, le "two-moons", généré avec scikit-learn : 400 points répartis en deux classes non linéairement séparables, avec un bruit de 0,18 pour simuler des conditions réalistes. Les deux architectures sont strictement identiques, même nombre de couches, même largeur, seule la fonction d'activation diffère, ce qui permet une comparaison propre et isolée. Le constat central est le suivant : Sigmoid compresse toutes les valeurs d'entrée dans un intervalle étroit entre 0 et 1. Conséquence directe, les points éloignés des frontières de décision deviennent indiscernables les uns des autres, car l'information sur leur distance à ces frontières est effacée couche après couche. Ce phénomène, appelé perte de contexte géométrique, affaiblit la capacité du réseau à construire des représentations riches en profondeur. ReLU, à l'inverse, conserve la magnitude des entrées positives : l'information de distance continue de circuler à travers les couches, permettant au réseau de rester expressif sans nécessiter une largeur excessive ni une puissance de calcul démesurée. En pratique, cela se traduit par des modèles ReLU plus efficaces à l'inférence et mieux adaptés au passage à l'échelle. Ces observations s'inscrivent dans une évolution plus large du domaine du deep learning. ReLU a progressivement remplacé Sigmoid comme fonction d'activation standard dans les réseaux profonds dès les années 2010, notamment grâce aux travaux fondateurs d'Hinton, LeCun et Bengio sur le problème de la disparition du gradient. Sigmoid souffrait en effet d'un double problème : saturation des gradients lors de la rétropropagation, et perte d'information géométrique lors de la propagation avant. L'étude actuelle met l'accent précisément sur ce second aspect, moins souvent discuté que le premier. Avec la montée en puissance des grands modèles de langage et des architectures à des centaines de milliards de paramètres, l'efficacité à l'inférence est devenue un enjeu industriel majeur. Des variantes de ReLU comme GELU ou SwiGLU, utilisées dans GPT-4 ou LLaMA, héritent de cette même propriété de préservation de l'information, confirmant que le choix de la fonction d'activation reste un levier critique pour la performance et l'économie de calcul des systèmes d'IA modernes.

RecherchePaper
1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, l'essentiel de l'IA · désinscription en un clic