Titre traduit: Expériences précoces sur l'accélération de la science avec GPT-5

L'IA au service de la compréhension du cerveau : explications et expériences

Des chercheurs de Microsoft Research, de l'Université de Californie à Berkeley, de l'UCSF et de Columbia University ont publié dans Nature Neuroscience un nouveau cadre méthodologique baptisé Generative Causal Testing (GCT), conçu pour rendre les modèles de prédiction cérébrale interprétables par des humains. Depuis une dizaine d'années, les grands modèles de langage sont devenus les outils les plus précis pour prédire comment le cerveau humain réagit au langage : en soumettant à un LLM le même texte qu'une personne écoute dans un scanner IRM fonctionnel, le modèle peut anticiper l'activité de zones corticales spécifiques avec une fidélité remarquable. Le problème : ces modèles ne disent pas pourquoi. Ils sont constitués de millions de paramètres opaques, incapables d'expliquer à quel concept précis une région cérébrale est sensible. GCT répond à ce vide en deux étapes. D'abord, il identifie les phrases qui activent le plus fortement le modèle prédictif d'une région donnée, puis un LLM synthétise ces signaux en une explication courte et lisible, comme "préparation culinaire" ou "noms de lieux". Ensuite, un autre LLM génère de nouvelles histoires spécifiquement conçues pour déclencher cette région, les participants les écoutent en scanner, et l'équipe vérifie si la zone ciblée s'active effectivement. Les expériences menées ont confirmé des sélectivités connues, distingué des régions voisines de traitement des lieux longtemps considérées comme interchangeables, et mis en évidence de minuscules "micro-régions" préfrontales sensibles à des concepts très précis comme les dialogues, les horaires ou les mesures. L'enjeu va bien au-delà de la neuroscience computationnelle : il s'agit de combler le fossé entre prédiction et compréhension. Un modèle qui prédit l'activité cérébrale sans l'expliquer ne produit pas de connaissance scientifique, il produit une performance. GCT transforme ces performances en hypothèses testables, c'est-à-dire en théories au sens strict du terme, des affirmations que l'on peut confirmer ou réfuter par une expérience. Pour les chercheurs en neurosciences du langage, cela change radicalement la valeur opérationnelle des LLMs : ils ne servent plus seulement à prédire, mais à formuler des questions précises sur l'organisation fonctionnelle du cortex. Pour l'industrie de l'IA, c'est une démonstration que l'interprétabilité des modèles peut être abordée de façon expérimentale, pas seulement théorique. Ce travail s'inscrit dans un mouvement plus large d'alignement entre neurosciences cognitives et intelligence artificielle, où les LLMs sont utilisés non plus comme des boîtes noires mais comme des instruments d'investigation scientifique. La crise de l'explicabilité est l'une des tensions centrales de la décennie en IA : à mesure que les modèles gagnent en précision, leur lisibilité diminue. GCT propose une réponse originale en utilisant les LLMs pour s'expliquer eux-mêmes, via une boucle de vérification empirique. Les prochaines étapes probables incluent l'extension de ce cadre à d'autres modalités sensorielles et à d'autres populations, ainsi que son application à des questions cliniques liées au traitement du langage dans des pathologies neurologiques.

💬 On savait déjà que les LLMs prédisent l'activité cérébrale mieux que n'importe quel autre outil. Ce que GCT fait, c'est utiliser ces mêmes modèles pour formuler des hypothèses qu'on va tester en scanner, transformer une prédiction opaque en théorie vérifiable. C'est le genre de travail qui devrait changer comment on pense l'interprétabilité en IA, pas juste en neurosciences.

Sakana AI et NVIDIA présentent TwELL : accélération de 20,5 % en inférence et 21,9 % en entraînement pour les LLMs

Des chercheurs de Sakana AI et NVIDIA ont publié en mai 2026 un article accepté à ICML 2026 (arXiv:2603.23198) présentant TwELL, un nouveau format de calcul creux accompagné de noyaux CUDA dédiés, permettant d'accélérer les grands modèles de langage de 20,5 % à l'inférence et de 21,9 % à l'entraînement. Le travail cible les couches feedforward des transformeurs, qui concentrent plus des deux tiers des paramètres d'un modèle et consomment plus de 80 % des opérations flottantes totales. Le constat de départ est frappant : pour n'importe quel token traité, plus de 99 % des neurones cachés dans ces couches produisent une valeur nulle après la fonction d'activation. Cette sparsité dite "d'activation" existe donc à grande échelle, mais n'avait jusqu'ici jamais pu être exploitée efficacement sur GPU. L'impact potentiel est considérable pour l'ensemble de l'industrie du calcul IA. Les GPU NVIDIA sont architecturés pour des multiplications matricielles denses via les Tensor Cores, qui exigent de larges blocs de données contiguës. Les formats creux classiques comme ELLPACK nécessitaient un passage kernel supplémentaire pour convertir les activations du format dense au format creux, une surcharge qui annulait tout gain. Les travaux précédents de sparsité dans les LLM, notamment TurboSparse, ProSparse et Q-Sparse, ne traitaient que les opérations GEMV à un seul token, un cas marginal en production. TwELL résout le problème réellement difficile : les opérations GEMM batchées avec des milliers de tokens simultanés, qui correspondent à la fois à l'inférence à haut débit et à l'entraînement. Un gain de 20 % sur ces régimes se traduit directement par des économies massives en coût de calcul et en consommation électrique pour quiconque opère des modèles à l'échelle. L'innovation technique centrale de TwELL réside dans un découpage des colonnes en tuiles horizontales correspondant exactement à la taille de tuile T_n du kernel de multiplication matricielle. Les valeurs non nulles sont compactées localement dans chaque tuile, et cette construction s'effectue dans l'épilogue du kernel de projection existant, sans kernel supplémentaire, sans lecture mémoire additionnelle ni synchronisation entre blocs. À l'inférence, un seul kernel fusionné lit les activations au format TwELL et effectue les projections montante et descendante conjointement, évitant d'écrire l'état caché intermédiaire en mémoire globale et réduisant ainsi drastiquement le trafic DRAM. Pour l'entraînement, un format hybride route dynamiquement chaque ligne vers une matrice ELL compacte ou vers un bloc dense de secours selon le taux de sparsité local. Ce travail ouvre la voie à des optimisations architecturales profondes sans modifier les poids ni les architectures existantes, une direction que d'autres laboratoires devraient rapidement explorer.

La compression TurboQuant de Google pourrait accélérer l'inférence sans perte de précision sur du matériel moins puissant

Google Research a dévoilé TurboQuant, un nouvel algorithme de quantification conçu pour compresser les caches Key-Value (KV) des grands modèles de langage jusqu'à six fois leur taille originale. Cette technique permet d'atteindre une compression à 3,5 bits avec une perte de précision quasi nulle, et sans nécessiter de réentraînement du modèle. Les premiers benchmarks communautaires confirment des gains d'efficacité substantiels, permettant aux développeurs de faire tourner des fenêtres de contexte très larges sur du matériel bien moins puissant qu'auparavant. L'enjeu est considérable : le cache KV est l'un des principaux goulots d'étranglement en mémoire lors de l'inférence de LLM, surtout lorsque les contextes atteignent des centaines de milliers de tokens. En réduisant l'empreinte mémoire de ces caches par un facteur pouvant atteindre 6x, TurboQuant ouvre la voie à des déploiements sur des GPU grand public ou des serveurs moins coûteux, ce qui représente une réduction directe des coûts d'inférence pour les entreprises et les développeurs indépendants. La compression des caches KV est un domaine de recherche actif, avec des travaux concurrents comme KVQuant ou StreamingLLM déjà publiés ces dernières années. L'originalité de TurboQuant réside dans sa capacité à atteindre ce niveau de compression sans phase de fine-tuning, ce qui facilite son intégration dans des pipelines existants. Google Research n'a pas encore précisé de calendrier de disponibilité dans ses produits, mais cette publication s'inscrit dans la course plus large à réduire le coût computationnel des modèles toujours plus grands comme Gemini.

Modèles vision-langage-action sur robot : contraintes et accélération selon les processeurs

Des chercheurs ont publié une étude systématique sur le déploiement de modèles Vision-Language-Action (VLA) sur des accélérateurs matériels embarqués, une problématique centrale pour la robotique autonome à faible coût. Ces modèles, capables de combiner perception visuelle, compréhension du langage naturel et génération de commandes motrices, sont évalués jusqu'ici quasi exclusivement sur des GPU de bureau haut de gamme, ce qui masque les véritables compromis coût-performance des architectures embarquées. L'équipe a construit un tableau de comparaison multi-accélérateurs (GPU, XPU, NPU) en évaluant chaque combinaison modèle-matériel selon trois critères : coût, énergie consommée et temps d'inférence, regroupés sous l'acronyme CET. Résultat : des accélérateurs edge correctement dimensionnés se révèlent plus efficaces en coût et en énergie que des GPU phares, tout en respectant les contraintes de fréquence de contrôle requises par les robots en temps réel. L'étude apporte aussi un éclairage inédit sur le comportement interne de ces modèles lors de l'inférence. Les chercheurs ont identifié un schéma en deux phases répétable : un backbone VLM (le module vision-langage) limité par la puissance de calcul, suivi d'un module expert d'action limité par la bande passante mémoire. Cette alternance crée une sous-utilisation structurelle du matériel, source d'inefficacité. À partir de ce diagnostic, ils ont développé deux optimisations : DP-Cache, qui réduit les calculs redondants dans la diffusion, et V-AEFusion, qui introduit un parallélisme asynchrone entre les deux phases. Ces techniques permettent des accélérations allant jusqu'à 2,9x sur GPU et 6x sur NPU edge, avec une dégradation marginale des performances de contrôle. Ce travail s'inscrit dans une course plus large à l'embarquabilité des modèles d'IA généralistes dans les systèmes physiques. Les robots humanoïdes et mobiles de nouvelle génération, développés par des acteurs comme Figure, Physical Intelligence ou Boston Dynamics, font face à des contraintes énergétiques et économiques sévères dès lors qu'on les sort des laboratoires. L'approche de co-caractérisation modèle-matériel proposée ici offre un cadre méthodologique transposable, et le leaderboard public mis en ligne sur Vercel constitue une ressource ouverte pour orienter les prochains choix d'architecture dans l'IA incarnée.