Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.
Moonshot AI a présenté Attention Residuals (AttnRes), un remplacement des connexions résiduelles standard dans les Transformers. Les chercheurs soutiennent que les connexions résiduelles actuelles introduisent un problème structurel, car toutes les sorties précédentes sont accumulées avec des poids unitaires fixes, entraînant une croissance de la magnitude de l'état caché et faiblissant progressivement le contribucion de chaque couche. AttnRes permet à chaque couche d'agréger les représentations antérieures via une attention softmax sur la profondeur, plutôt que sur la position séquentielle. Les principaux problèmes des connexions résiduelles standard incluent l'accès non selectif, la perte irréversible d'informations et la croissance de l'output, qui peuvent entraîner une instabilité de l'entraînement. Full AttnRes calcule les poids d'attention sur toutes les sources de profondeur précédentes, augmentant ainsi le coût mais offrant une meilleure gestion des informations.
Les grands modèles de langage (LLM) sont capables d'évaluer leur propre confiance au niveau sémantique, pas seulement au niveau des tokens — et ce sans avoir été explicitement entraînés pour cela. Une étude montre que les LLM de base sont remarquablement bien calibrés pour estimer leur certitude sur le sens réel de leurs réponses dans des tâches de questions-réponses en domaine ouvert. Les chercheurs proposent un mécanisme théorique expliquant pourquoi cette calibration sémantique émerge naturellement de l'entraînement sur des tokens.
Andrej Karpathy a confié à un agent autonome l'optimisation de son environnement d'entraînement overnight, et celui-ci a découvert des améliorations qu'il n'avait pas détectées malgré vingt ans d'expérience. Selon Karpathy, les humains sont désormais le goulot d'étranglement de la recherche en IA, notamment pour les tâches aux résultats facilement mesurables.
Des chercheurs d'OpenAI et de Ginkgo Bioworks ont combiné une IA (GPT-5) avec un laboratoire automatisé pour accélérer la recherche biologique. En utilisant la technique de synthèse protéique acellulaire (CFPS), l'IA a conçu des expériences, analysé les résultats et ajusté ses approches en environ une heure par itération, démontrant ainsi la capacité de l'IA à formuler des hypothèses et à mener des expériences dans le domaine complexe de la biologie.
Recevez l'essentiel de l'IA chaque jour
Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.
Gratuit · 1 email le matin, rédigé par un humain · désinscription en un clic
