Transfert de connaissances multilingues avec peu de données grâce à des interventions lexicales
Le transfert de connaissances entre langues occupe une place centrale dans les travaux récents sur les modèles de langage multilingues, en particulier pour les langues disposant de peu de données d'entraînement. Une nouvelle approche, présentée sous le titre "Multilingual Knowledge Transfer under Data Constraints via Lexical Interventions", s'attaque directement à ce problème en proposant des interventions au niveau lexical plutôt que les méthodes lourdes habituellement employées. Le constat de départ est simple: lorsque les données disponibles dans une langue cible sont rares, l'essentiel des connaissances nécessaires aux tâches de raisonnement scientifique, d'inférence de sens commun et de compréhension générale du monde doit être puisé dans une langue source disposant de ressources abondantes, le plus souvent l'anglais. Les méthodes existantes pour faciliter ce transfert reposent généralement sur de grands volumes de données parallèles, des systèmes de traduction automatique, des modèles auxiliaires ou des phases d'entraînement supplémentaires, autant d'exigences coûteuses en calcul et en données.
Résumé et traduction réalisés par Le Fil IA à partir de Apple Machine Learning. Lire l'article original →
Cette dépendance à des ressources lourdes limite considérablement l'accès à des modèles multilingues performants pour les langues peu dotées, qui représentent pourtant la majorité des langues parlées dans le monde. Une méthode capable de transférer efficacement des connaissances sans données parallèles massives ni infrastructure de traduction dédiée réduirait le coût d'entrée pour développer des outils d'intelligence artificielle utilisables dans ces langues, avec des retombées concrètes pour l'éducation, l'accès à l'information et les services numériques dans des régions aujourd'hui mal desservies par les grands modèles actuels, majoritairement optimisés pour l'anglais et quelques langues à forte présence en ligne.
Ce travail s'inscrit dans un effort de recherche plus large visant à démocratiser les capacités des grands modèles de langage au-delà des langues dominantes du web. La rareté des données constitue depuis longtemps un obstacle structurel à l'équité linguistique dans le traitement automatique des langues, et les approches fondées sur la traduction ou les corpus parallèles peinent à couvrir l'ensemble des langues existantes. En misant sur des interventions lexicales plus légères, cette piste de recherche ouvre la voie à des méthodes de transfert moins gourmandes en ressources, dont les développements futurs pourraient être suivis avec attention par les équipes travaillant sur l'inclusivité linguistique des systèmes d'IA.
Pas d'impact direct sur la France/UE