Aller au contenu principal
DoorDash développe DashCLIP pour aligner images, textes et requêtes en recherche sémantique grâce à 32 millions d'étiquettes
OutilsInfoQ AI · 1 min de lecture

DoorDash développe DashCLIP pour aligner images, textes et requêtes en recherche sémantique grâce à 32 millions d'étiquettes

Source originale ↗·

DoorDash franchit une étape significative dans l'intelligence artificielle appliquée au commerce en ligne avec le lancement de DashCLIP, un système d'apprentissage automatique multimodal capable d'aligner images de produits, descriptions textuelles et requêtes utilisateurs dans un espace d'embeddings commun. Cette architecture représente une avancée concrète pour améliorer la pertinence de la recherche sémantique sur la plateforme.

L'enjeu est majeur pour une place de marché comme DoorDash : lorsqu'un utilisateur tape "burger végétarien épicé", le système doit comprendre l'intention derrière la requête et la faire correspondre non seulement aux titres de plats, mais aussi aux images et aux descriptions, même si les mots exacts ne correspondent pas. En alignant ces trois modalités dans un espace vectoriel partagé, DashCLIP permet une compréhension sémantique profonde qui bénéficie directement à la recherche de produits, au classement des résultats et à la pertinence publicitaire.

Le système a été entraîné par apprentissage contrastif sur 32 millions de paires étiquetées requête-produit, un corpus conséquent qui permet au modèle de distinguer finement les similarités et dissimilarités entre contenus. Les embeddings générés ne servent pas uniquement à la recherche : ils alimentent d'autres tâches d'apprentissage automatique à travers l'ensemble de la marketplace. Le projet est signé par l'ingénieure Leela Kumili, membre de l'équipe ML de DoorDash.

Cette initiative s'inscrit dans une tendance plus large où les grandes plateformes e-commerce et de livraison adoptent des architectures de type CLIP, inspirées des travaux d'OpenAI, pour dépasser les limites de la recherche par mots-clés. Pour DoorDash, les bénéfices sont doubles : une meilleure expérience utilisateur et une monétisation publicitaire plus précise, deux leviers directement liés à la croissance du chiffre d'affaires.

Dans nos dossiers

Cet article vous a été utile ?

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

1VentureBeat AI 

Le développement piloté par les spécifications s'impose pour le code agentique en entreprise

Le développement logiciel piloté par les spécifications s'impose comme la méthode de référence pour déployer des agents de codage autonomes à l'échelle des grandes entreprises. Amazon Web Services en est l'exemple le plus documenté : l'équipe derrière le nouvel environnement de développement Kiro IDE a utilisé Kiro pour construire Kiro lui-même, réduisant les cycles de développement de deux semaines à deux jours. Une équipe d'ingénieurs AWS a mené à bien un projet de refonte architecturale initialement prévu sur dix-huit mois avec trente développeurs, en six personnes en soixante-seize jours. Chez Amazon.com, la fonctionnalité "Add to Delivery", qui permet aux acheteurs d'ajouter des articles après validation de leur commande, a été livrée deux mois avant le calendrier prévu grâce à cette approche. Alexa+, Amazon Finance, Amazon Stores, Fire TV, Last Mile Delivery et Prime Video intègrent désormais tous le développement piloté par les spécifications dans leurs méthodes de production. Ce qui rend cette méthode structurante, c'est qu'elle résout le problème de confiance fondamental posé par le code généré par l'IA. Un agent qui produit cent cinquante commits par semaine dépasse largement la capacité de relecture humaine : aucune équipe ne peut valider manuellement ce volume. La spec devient alors un moteur de vérification automatique. Rédigée avant qu'une seule ligne de code soit écrite, elle définit ce que le système doit faire, ses propriétés attendues et ce que "correct" signifie concrètement. À partir de cette base, des techniques de test basées sur les propriétés et de l'IA neurosymbolique génèrent automatiquement des centaines de cas de test dérivés directement de la spécification, couvrant des cas limites qu'aucun développeur n'aurait envisagé. L'agent peut ainsi se corriger en boucle, en réinjectant les échecs de build et de test dans son propre raisonnement, jusqu'à produire un code à la fois fonctionnel et vérifiable. Cette évolution s'inscrit dans une transformation plus large du secteur. Il y a un an, le "vibe coding" avait popularisé l'idée que n'importe qui pouvait produire du code avec l'IA, au prix d'une qualité souvent médiocre. Le développement piloté par les spécifications répond à la question suivante : comment faire confiance à ce code à grande échelle ? Les équipes qui adoptent cette méthode ne traitent plus l'IA comme un outil ponctuellement consulté, mais comme un agent autonome ancré à une source de vérité permanente. La prochaine étape annoncée est celle d'agents capables de rédiger leurs propres spécifications, utilisant la spec comme mécanisme d'autocorrection et de vérification. Les entreprises qui maîtriseront ce modèle prendront une avance structurelle significative sur celles qui continuent à coder sans cadre formel.

OutilsOutil
1 source
Des agents avec recherche web grâce à Strands et Exa
2AWS ML Blog 

Des agents avec recherche web grâce à Strands et Exa

AWS a publié une intégration native entre son SDK open source Strands Agents et le moteur de recherche Exa, permettant aux agents IA d'accéder au web en temps réel sans couche de post-traitement. Cette combinaison expose deux outils principaux : exasearch, qui effectue des recherches sémantiques avec prise en charge de catégories comme les articles d'actualité, les publications de recherche ou les dépôts de code, et exaget_contents, qui récupère le contenu complet de pages web ciblées. Le SDK Strands Agents, distribué en open source par AWS, repose sur une architecture pilotée par le modèle : plutôt que de définir des workflows figés, le développeur fournit un modèle de langage, un prompt système et une liste d'outils, puis c'est le modèle lui-même qui décide quels outils appeler, dans quel ordre, et quand la tâche est accomplie. Le SDK embarque déjà plus de 40 outils préconstruits couvrant la gestion de fichiers, l'exécution de code, les API AWS, la mémoire et la recherche web. Pour les développeurs qui construisent des agents dédiés à la veille, à la vérification des faits ou à l'intelligence concurrentielle, cette intégration élimine un obstacle persistant : la plupart des API de recherche généralistes renvoient des pages HTML chargées de balisage et des snippets courts optimisés pour la navigation humaine, ce qui oblige à construire des couches supplémentaires de parsing, de nettoyage et de reclassement avant de pouvoir injecter ces données dans une fenêtre de contexte LLM. Exa résout ce problème à la source en fournissant un contenu propre, structuré et directement exploitable. Concrètement, un agent peut enchaîner plusieurs appels de recherche, accumuler les résultats dans son historique de conversation et raisonner sur l'ensemble pour produire une réponse finale, sans que le développeur n'ait à orchestrer chaque étape manuellement. Exa se distingue des moteurs traditionnels par son approche sémantique : une requête comme "startups développant des solutions climatiques" retourne effectivement des entreprises du secteur, même si leurs pages ne contiennent pas cette formulation exacte, car le moteur travaille sur la similarité de sens plutôt que sur la correspondance de mots-clés. Le SDK supporte également le Model Context Protocol (MCP), ce qui facilite l'ajout de tout nouveau serveur d'outils sans travail d'intégration supplémentaire. L'intégration Exa est disponible via le package strands-agents-tools et s'ajoute à la liste d'outils en une ligne de code. Dans un contexte où les agents IA peinent encore à accéder à des informations récentes et fiables, cette combinaison d'un framework agentique piloté par le modèle et d'un moteur de recherche conçu pour les LLM ouvre des perspectives concrètes pour des cas d'usage comme l'analyse de marché, la recherche documentaire automatisée ou le suivi de l'actualité technologique en temps réel.

OutilsOutil
1 source
Guide de mise en oeuvre d'un système de recherche vectorielle sémantique, hybride et quantifiée avec pgvector
3MarkTechPost 

Guide de mise en oeuvre d'un système de recherche vectorielle sémantique, hybride et quantifiée avec pgvector

Un tutoriel publié sur Analytics Vidhya propose une implémentation complète d'un système de recherche vectorielle avancé en s'appuyant uniquement sur PostgreSQL et l'extension pgvector, le tout exécutable directement dans Google Colab. Le guide couvre l'installation de PostgreSQL, la compilation de pgvector depuis les sources, la connexion via Psycopg, puis la création d'embeddings avec le modèle open-source SentenceTransformers all-MiniLM-L6-v2 (384 dimensions). Les vecteurs sont stockés dans des tables PostgreSQL classiques, indexés avec des index HNSW (Hierarchical Navigable Small World), puis interrogés selon plusieurs modalités : recherche sémantique, recherche filtrée par catégorie, comparaison de métriques de distance (cosinus, L2, produit scalaire), stockage en demi-précision (16 bits), quantification binaire, vecteurs creux (sparse), récupération hybride et agrégation vectorielle. L'intérêt concret de cette approche réside dans la suppression d'une dépendance externe coûteuse : plutôt que d'ajouter Pinecone, Qdrant ou Weaviate à une architecture existante, les équipes qui utilisent déjà PostgreSQL peuvent activer pgvector et disposer d'un moteur de recherche vectorielle pleinement fonctionnel. La quantification binaire réduit l'empreinte mémoire d'un facteur 32, ce qui permet de traiter des corpus bien plus larges sans changer d'infrastructure. Le support des vecteurs creux ouvre la porte à des systèmes hybrides combinant recherche lexicale traditionnelle (BM25-style) et similarité sémantique, ce qui améliore significativement la pertinence dans les cas de récupération augmentée (RAG), les moteurs de recommandation et les systèmes de similarité documentaire. pgvector est un projet open-source maintenu activement ; sa version 0.8 (fin 2024) a introduit la prise en charge native du type halfvec et des améliorations de performance sur les index HNSW. PostgreSQL s'impose ainsi comme une alternative sérieuse aux bases vectorielles spécialisées, en particulier pour les organisations qui ne souhaitent pas multiplier les services managés. Le tutoriel illustre également un changement de paradigme plus large dans l'outillage IA : la tendance est au retour vers des composants généralistes et maîtrisables, plutôt que vers des solutions SaaS dédiées dont le coût et la complexité opérationnelle s'accumulent. L'environnement Colab utilisé dans le guide abaisse la barrière d'entrée pour tester ces techniques, mais la même logique s'applique directement en production sur n'importe quelle instance PostgreSQL 15+.

OutilsTuto
1 source
MiniMax publie MMX-CLI, une interface en ligne de commande pour agents IA avec accès natif aux médias et à la recherche
4MarkTechPost 

MiniMax publie MMX-CLI, une interface en ligne de commande pour agents IA avec accès natif aux médias et à la recherche

MiniMax, la startup chinoise d'intelligence artificielle connue pour ses modèles multimodaux, a lancé MMX-CLI, une interface en ligne de commande open source qui donne aux développeurs et aux agents IA un accès direct à l'ensemble de la plateforme MiniMax : génération de texte, d'images, de vidéos, de voix, de musique, d'analyse visuelle et de recherche web. L'outil, écrit en TypeScript avec le runtime Bun, s'organise en sept groupes de commandes, mmx text, mmx image, mmx video, mmx speech, mmx music, mmx vision et mmx search, couvrant des cas d'usage allant du chat multi-tour en streaming jusqu'à la synthèse musicale avec contrôle du tempo, du BPM, de la tonalité et des instruments. La commande mmx speech propose plus de 30 voix et accepte jusqu'à 10 000 caractères, tandis que mmx video s'appuie par défaut sur le modèle MiniMax-Hailuo-2.3 et permet de générer une vidéo à partir d'une image de départ via le flag --first-frame. L'enjeu principal est de simplifier radicalement l'intégration des capacités multimodales dans les workflows des agents IA. Aujourd'hui, des outils comme Cursor, Claude Code ou OpenCode sont puissants pour manipuler du texte et du code, mais n'ont pas de chemin natif pour générer des médias sans passer par des couches d'intégration supplémentaires, wrappers d'API, configuration serveur, gestion d'authentification séparée, ou protocoles comme le Model Context Protocol (MCP). MMX-CLI contourne tout cela : un agent peut invoquer une commande shell comme n'importe quel outil terminal, sans glue MCP. Pour les équipes qui automatisent des pipelines de création de contenu, de localisation audio ou de production vidéo, cela représente une réduction concrète du coût d'intégration et du temps de développement. Ce lancement s'inscrit dans une tendance plus large où les fournisseurs de modèles cherchent à devenir des plateformes complètes plutôt que de simples API de texte. MiniMax, qui a levé des centaines de millions de dollars et positionne son stack "omni-modal" face aux offres de Google, OpenAI et ElevenLabs, mise sur l'outillage développeur comme levier d'adoption. En exposant ses modèles via une CLI standardisée compatible avec les grands environnements de développement assistés par IA, la société cherche à s'ancrer dans les workflows quotidiens des ingénieurs avant que des concurrents ne comblent le même manque. La prochaine étape probable est une adoption croissante dans les pipelines d'automatisation, content factories, doublage automatique, génération de supports marketing, où la combinaison texte-image-vidéo-voix en une seule interface représente un avantage opérationnel réel.

💬 Pas de wrapper MCP, pas de config serveur, juste une commande shell pour avoir du texte, de la vidéo, de la voix, de la musique : sur le papier, c'est exactement le raccourci qu'il me manquait dans mes pipelines. Si tu automatises de la prod de contenu multimédia, l'intégration devient triviale du coup. La vraie question c'est la qualité des modèles MiniMax face à ElevenLabs ou Hailuo en conditions réelles.

OutilsOutil
1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, l'essentiel de l'IA · désinscription en un clic