The Download : le prochain grand modèle de langage et l'évolution de la recherche universitaire en IA
Neuf ans après que des chercheurs de Google ont introduit l'architecture "transformer", devenue le moteur de tous les grands modèles de langage actuels, cette technologie montre ses limites : son mécanisme d'attention dense devient de plus en plus coûteux à mesure que le volume de texte traité augmente, et elle peine à retenir de grandes quantités d'informations simultanément. Le journaliste Will Douglas Heaven présente quatre pistes de recherche visant à dépasser ce goulot d'étranglement pour rendre les futurs modèles plus rapides, plus efficaces, voire plus intelligents. Par ailleurs, la journaliste Grace Huckins s'est rendue dans un hôtel de Mountain View, en Californie, pour une rencontre du programme AI2050, financé par Eric et Wendy Schmidt via Schmidt Sciences, qui réunit des chercheurs universitaires spécialisés en intelligence artificielle. D'autres nouvelles majeures marquent l'actualité : Nvidia a obtenu 500 milliards de dollars d'engagements de Wall Street, via des accords avec BlackRock, Goldman Sachs et quatre autres institutions, pour financer des infrastructures d'IA. Mark Zuckerberg a publié un nouveau manifeste défendant une "superintelligence" personnalisée et open source, coïncidant avec la sortie d'un nouveau modèle ouvert de Meta. Le sénateur Bernie Sanders a appelé la Silicon Valley à suspendre le développement de l'IA. Un tribunal américain a autorisé des milliers de plaintes contre Meta, TikTok, Google et Snapchat concernant des mécanismes jugés addictifs pour les jeunes utilisateurs. En Chine, l'entreprise de robotique humanoïde Unitree a vu son introduction en bourse à Shanghai sursouscrite plus de 8 000 fois par les investisseurs particuliers, levant 900 millions de dollars pour une valorisation de 9 milliards. Enfin, les caméras de surveillance automobile de la société Flock suscitent une contestation bipartisane aux États-Unis, tandis que Pékin a instauré de nouvelles règles encadrant les IA conversationnelles à caractère émotionnel.
Résumé et traduction réalisés par Le Fil IA à partir de MIT Technology Review. Lire l'article original →
Ces développements illustrent à quel point l'industrie de l'IA traverse une phase charnière. Les limites techniques des transformers pourraient freiner les gains de performance des futurs modèles si aucune alternative ne s'impose, ce qui explique l'intérêt croissant pour de nouvelles architectures. Les investissements massifs de Nvidia confirment que le calcul dédié à l'IA devient une classe d'actifs à part entière pour les institutions financières. Dans le même temps, la pression politique et sociale s'intensifie : les appels de Bernie Sanders, les poursuites judiciaires visant les plateformes et la réglementation chinoise sur les chatbots émotionnels traduisent une inquiétude grandissante face aux effets sociaux de ces technologies, notamment sur les jeunes.
Ce moment s'inscrit dans une tension plus large entre course à la puissance de calcul, rivalité géopolitique autour des modèles ouverts entre les États-Unis et la Chine, et remise en question croissante par les régulateurs et l'opinion publique. Le monde académique, représenté par des programmes comme AI2050, doit lui aussi redéfinir sa place face à des laboratoires commerciaux disposant de moyens financiers considérables. L'accumulation de ces signaux, qu'il s'agisse de recherche fondamentale, de capitaux privés ou de contestation populiste, suggère que les mois à venir seront déterminants pour l'orientation technique et réglementaire du secteur.
Pas d'impact direct sur la France/UE