Les données textuelles pour les LLM s'épuisent : Meta mise sur les vidéos non étiquetées comme prochain grand terrain d'entraînement

Une équipe de recherche de Meta FAIR et de l'Université de New York a entraîné un modèle d'IA multimodal from scratch, remettant en question plusieurs hypothèses courantes sur la construction de ces modèles. Face à l'épuisement des données textuelles pour entraîner les LLM, Meta mise sur la vidéo non étiquetée comme prochain grand gisement d'entraînement. Cette approche pourrait ouvrir une nouvelle frontière pour le développement de modèles d'IA à grande échelle.