DoorDash développe DashCLIP pour aligner images, textes et requêtes en recherche sémantique grâce à 32 millions d'étiquettes

DoorDash franchit une étape significative dans l'intelligence artificielle appliquée au commerce en ligne avec le lancement de DashCLIP, un système d'apprentissage automatique multimodal capable d'aligner images de produits, descriptions textuelles et requêtes utilisateurs dans un espace d'embeddings commun. Cette architecture représente une avancée concrète pour améliorer la pertinence de la recherche sémantique sur la plateforme.

L'enjeu est majeur pour une place de marché comme DoorDash : lorsqu'un utilisateur tape "burger végétarien épicé", le système doit comprendre l'intention derrière la requête et la faire correspondre non seulement aux titres de plats, mais aussi aux images et aux descriptions — même si les mots exacts ne correspondent pas. En alignant ces trois modalités dans un espace vectoriel partagé, DashCLIP permet une compréhension sémantique profonde qui bénéficie directement à la recherche de produits, au classement des résultats et à la pertinence publicitaire.

Le système a été entraîné par apprentissage contrastif sur 32 millions de paires étiquetées requête-produit, un corpus conséquent qui permet au modèle de distinguer finement les similarités et dissimilarités entre contenus. Les embeddings générés ne servent pas uniquement à la recherche : ils alimentent d'autres tâches d'apprentissage automatique à travers l'ensemble de la marketplace. Le projet est signé par l'ingénieure Leela Kumili, membre de l'équipe ML de DoorDash.

Cette initiative s'inscrit dans une tendance plus large où les grandes plateformes e-commerce et de livraison adoptent des architectures de type CLIP — inspirées des travaux d'OpenAI — pour dépasser les limites de la recherche par mots-clés. Pour DoorDash, les bénéfices sont doubles : une meilleure expérience utilisateur et une monétisation publicitaire plus précise, deux leviers directement liés à la croissance du chiffre d'affaires.