Le Download : les enfants apprennent plus vite que l'IA, et les agents s'invitent dans les voyages spatiaux
Apprendre une langue maternelle ne demande à un enfant qu'une fraction infime des données nécessaires à un grand modèle de langage pour atteindre le même niveau de maîtrise, selon un article publié par la journaliste Elise Cutts dans la newsletter The Download du MIT Technology Review. Un LLM ingère typiquement jusqu'à cent mille fois plus de mots qu'un enfant n'en entend avant de maîtriser sa langue maternelle. Cet écart, que les chercheurs appellent le "data efficiency gap" (écart d'efficacité des données), intrigue autant les scientifiques cognitifs que les concepteurs de modèles d'intelligence artificielle. Des équipes de recherche tentent aujourd'hui de rétro-ingénierer les mécanismes d'apprentissage linguistique des jeunes enfants pour comprendre comment ils parviennent à un résultat aussi performant avec si peu d'exposition, alors même que les modèles les plus sophistiqués nécessitent des corpus de textes gigantesques, souvent extraits d'internet.
Résumé et traduction réalisés par Le Fil IA à partir de MIT Technology Review. Lire l'article original →
Cette question dépasse la simple curiosité académique. Si les chercheurs parviennent à percer le mécanisme qui permet aux enfants d'apprendre autant avec si peu de données, cela pourrait ouvrir la voie à des modèles d'IA radicalement plus économes en données d'entraînement, donc moins coûteux à développer, moins gourmands en ressources de calcul et potentiellement plus adaptés aux langues peu dotées en corpus numériques. Un tel progrès aurait des répercussions concrètes pour l'industrie de l'IA, confrontée à l'épuisement progressif des données textuelles de haute qualité disponibles sur le web, un problème régulièrement évoqué comme un frein structurel à la prochaine génération de modèles. Comprendre l'apprentissage enfantin pourrait aussi éclairer des débats plus anciens sur le développement cognitif et le rapport entre langage et esprit humain.
Ce travail s'inscrit dans un contexte où l'entraînement des grands modèles de langage repose sur des volumes de texte extraits massivement d'internet, en contraste frappant avec les quelques milliers d'heures de parole auxquelles un enfant est exposé avant de devenir locuteur compétent. Le sujet ravive aussi un débat scientifique de longue date entre les théories nativistes du langage, popularisées par Noam Chomsky, et les approches statistiques de l'apprentissage, sur lesquelles reposent justement les LLM actuels. Des initiatives comme les défis de modélisation "développementalement plausible" cherchent déjà à entraîner des systèmes avec des volumes de données comparables à ceux reçus par un enfant. Ces travaux, présentés dans le cadre d'un prochain numéro du magazine du MIT Technology Review consacré à l'enfance, pourraient à terme inspirer de nouvelles méthodes d'entraînement fondées sur l'apprentissage progressif et l'ancrage sensoriel et social, plutôt que sur la seule accumulation de texte.
Pas d'impact direct sur la France/UE