Airbnb présente CASTLE, une méthode d'entraînement de modèles de recherche en langage naturel avec des données synthétiques
Des chercheurs d'Airbnb ont présenté CASTLE, un cadre conçu pour résoudre le problème du démarrage à froid dans la recherche en langage naturel. La méthode s'appuie sur des sessions de réservation dépersonnalisées et sur des grands modèles de langage (LLM) pour générer conjointement des requêtes de recherche synthétiques et leurs étiquettes de pertinence, ce qui permet d'entraîner un modèle avant de disposer d'un trafic de recherche réel suffisant. Le principe repose sur des paires de logements contrastées : lorsqu'un voyageur réserve un bien après en avoir consulté plusieurs, ce logement devient l'exemple positif, tandis qu'un autre bien consulté mais non réservé sert d'exemple négatif. Un LLM doit alors produire une requête qui correspond au premier mais pas au second, de sorte que l'étiquette de pertinence découle de la construction même et non d'une évaluation distincte. Trois stratégies de génération sont combinées : des invites à base de modèles, des invites à quelques exemples fondées sur environ 500 requêtes issues d'études utilisateurs ciblées, et des invites centrées sur les attributs distinctifs des logements, avec un mécanisme favorisant la variété de longueur et de formulation. Pour les paires sans historique de réservation suffisant, notamment les annonces récentes, un « Virtual Judge », évaluateur basé sur un LLM, attribue les étiquettes. Une variante, CASTLE-R, est destinée aux environnements de production où le trafic réel commence à s'accumuler.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de InfoQ AI. Lire l'article original →
Les résultats chiffrés sont nets. CASTLE obtient une divergence de Kullback-Leibler de 1,01 par rapport aux requêtes d'utilisateurs réels, contre 9,33 pour la meilleure méthode de référence, Promptagator, soit une réduction d'un facteur 9,2. Au niveau des types d'attributs, la divergence tombe à 0,08, contre 0,09 pour les requêtes d'amorçage issues d'enquêtes et élaborées manuellement. Une évaluation humaine menée par trois experts indépendants sur 200 triplets échantillonnés a montré un accord de 91 % à 93 % avec les étiquettes de CASTLE. Pour les plateformes de voyage et, plus largement, pour toute entreprise qui souhaite lancer une recherche conversationnelle, l'enjeu est concret : disposer de données d'entraînement réalistes sans attendre des mois de trafic, tout en limitant les coûts d'annotation et les erreurs qui s'accumulent quand génération et jugement sont traités séparément.
Ce travail s'inscrit dans le prolongement d'approches comme InPars et Promptagator, qui utilisent des LLM pour générer des requêtes à partir de documents ou d'exemples, puis ajoutent un second modèle pour juger la pertinence. Selon les chercheurs, cette séparation introduit des sources d'erreur supplémentaires et creuse l'écart entre distributions synthétiques et réelles. La recherche en langage naturel, où l'on décrit par exemple « une cabane romantique près des pistes de ski » ou « une maison de plage acceptant les animaux pour huit personnes », exige pourtant de capter des intentions que les filtres classiques ne couvrent pas. La méthodologie a suscité un débat sur LinkedIn : Mark Tsai, ingénieur IA, a demandé si les modèles de départ et les identifiants de logements étaient bien disjoints entre entraînement et évaluation, afin de distinguer l'apprentissage d'associations réutilisables entre intention et attributs de la simple reconnaissance de gabarits ou de biens familiers. Wendy Ran Wei, autrice de l'article, a répondu que l'évaluation portait sur des requêtes réelles non utilisées à l'entraînement, avec des garde-fous contre les fuites de données, tout en reconnaissant que l'étude ne compare pas de façon contrôlée un découpage aléatoire et un découpage plus strict. Cette piste reste ouverte pour de futurs travaux, et l'article complet est disponible sur arXiv.