Accélérer les modèles de langage pour les applications de voyage
Les plateformes de voyage servent des millions d'utilisateurs chaque jour, et beaucoup se sont tournées vers les grands modèles de langage (LLM) pour répondre aux questions sur les destinations, recommander des hôtels ou aider à planifier un séjour. Ces modèles, qui comptent généralement des dizaines de milliards de paramètres, fournissent des conseils précis et pertinents, mais leur coût de calcul croît avec le nombre de requêtes et leur lenteur pose problème : sur le web et le mobile, 100 millisecondes de délai peuvent suffire à faire perdre des clients et des revenus. En collaboration avec l'agence de voyages en ligne Booking.com, des chercheurs ont combiné deux techniques d'optimisation complémentaires : la distillation de connaissances (KD), où un modèle puissant mais lent produit des cibles d'entraînement pour un modèle léger et rapide, et Medusa, un cadre qui transforme la prédiction séquentielle du mot suivant en calcul parallèle. Elles ont été testées sur trois fonctions : l'AI Trip Planner, assistant conversationnel devant extraire les préférences de voyage en moins d'une seconde, Smart Filters, qui convertit en temps réel des requêtes en langage naturel en filtres structurés, et la génération de descriptions d'hébergements à l'échelle de millions d'annonces, où l'enjeu est le coût. Le résultat : la qualité des meilleurs LLM open source est préservée pour moins d'un tiers du coût, avec une exécution jusqu'à 20 fois plus rapide. Ces travaux ont reçu le prix du meilleur article de la session Industrie lors de la réunion de l'Association for Computational Linguistics (ACL) l'an dernier.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de Amazon Science. Lire l'article original →
L'enjeu dépasse le seul secteur du voyage. Pour toute application grand public reposant sur un LLM, la latence et le coût par requête déterminent la viabilité économique d'un service. Une réponse en moins d'une seconde permet d'intégrer l'IA conversationnelle dans des parcours de réservation où l'utilisateur n'attend pas, tandis qu'une division du coût par trois rend envisageable le traitement de volumes massifs, comme la rédaction de descriptions pour des millions de logements. Les plateformes peuvent ainsi proposer des fonctions plus riches sans voir leurs dépenses d'infrastructure exploser avec leur audience, et sans sacrifier la précision des réponses, ce qui reste le point critique pour la confiance des voyageurs.
Les deux briques répondent à des goulots différents. Normalement, un LLM génère le texte un jeton (un mot ou un fragment de mot) à la fois. Medusa ajoute au modèle de base des modules de prédiction, appelés têtes Medusa, à raison d'une tête par jeton décodé en parallèle. Les GPU étant conçus pour le parallélisme, ce décodage multiple ajoute peu de surcharge et offre en général des accélérations de 2 à 4 fois sans dégrader la qualité, en agissant à l'inférence plutôt qu'à l'entraînement. La distillation, elle, transfère le savoir d'un grand modèle « enseignant » vers un petit modèle « élève » : l'enseignant, affiné sur des données annotées, produit des prédictions sur des textes non étiquetés du domaine, et l'ensemble sert à entraîner l'élève, qui imite son comportement avec une bien meilleure efficacité. Les auteurs intègrent les deux approches dans un pipeline unique, partant de modèles de base préentraînés, en attachant les têtes Medusa à l'élève lors de son entraînement.
Booking.com, entreprise européenne basée à Amsterdam, voit ses fonctions d'IA conversationnelle accélérées et moins coûteuses, ce qui peut inspirer les plateformes de voyage européennes.