Aller au contenu principal
Equinox et JAX en pratique : modules natifs, transformations filtrées, couches à état et pipelines d'entraînement
OutilsMarkTechPost · 2 min de lecture

Equinox et JAX en pratique : modules natifs, transformations filtrées, couches à état et pipelines d'entraînement

Source originale ↗·

Equinox s'impose discrètement comme l'une des bibliothèques de deep learning les plus élégantes construites sur JAX, l'environnement de calcul numérique de Google. Développée comme une surcouche légère, elle repose sur un principe central : chaque modèle est un eqx.Module, traité nativement comme un PyTree, la structure d'arbre que JAX utilise pour manipuler ses tenseurs. Concrètement, cela signifie qu'une couche Linear, un bloc convolutif Conv1dBlock ou un réseau MLP se décomposent automatiquement en feuilles (les poids, les biais) et en métadonnées structurelles, sans couche d'abstraction cachée. Le tutoriel publié cette semaine détaille l'ensemble du workflow : initialisation des modules, champs statiques via eqx.field(static=True), transformations filtrées comme filterjit et filtergrad, couches avec état comme BatchNorm, et entraînement complet sur un problème de régression synthétique, le tout combiné avec Optax pour l'optimisation et Jaxtyping pour les annotations de forme.

L'intérêt pratique d'Equinox réside dans la façon dont il résout une friction fondamentale de JAX : comment gérer des paramètres entraînables et des métadonnées non-différentiables dans le même objet. Avec les transformations filtrées, il devient possible d'appliquer jit ou grad uniquement sur les feuilles numériques du modèle, en excluant automatiquement les chaînes de caractères, entiers ou booléens qui définissent l'architecture. Cette distinction évite les erreurs de traçage silencieuses qui affectent les approches naïves. Pour les chercheurs qui travaillent sur des architectures expérimentales, où l'on mélange souvent des hyperparamètres fixes et des poids appris, c'est un gain de fiabilité et de lisibilité significatif. Les couches comme BatchNorm, qui maintiennent un état interne (moyenne courante, variance), sont également prises en charge de manière explicite, sans recourir à des contournements complexes.

Equinox s'inscrit dans un mouvement plus large qui voit JAX gagner du terrain dans la recherche en apprentissage automatique, notamment face à PyTorch. Google DeepMind, qui l'utilise intensivement, ainsi que de nombreux laboratoires académiques ont adopté cet écosystème pour sa capacité à composer des transformations fonctionnelles (différentiation, vectorisation, parallélisme) de façon modulaire. Equinox se positionne comme une alternative à Flax ou Haiku, les deux bibliothèques historiques de l'écosystème JAX, en privilegiant une syntaxe plus proche de PyTorch tout en restant purement fonctionnelle. Avec l'essor des modèles de grande taille et les besoins croissants en parallélisme matériel, des outils qui séparent clairement la structure du modèle de son état numérique devraient continuer à gagner en adoption dans les mois à venir.

Dans nos dossiers

Cet article vous a été utile ?

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

Construire un pipeline de prévision avec TimeCopilot : modèles de fondation et détection automatique d'anomalies
1MarkTechPost 

Construire un pipeline de prévision avec TimeCopilot : modèles de fondation et détection automatique d'anomalies

TimeCopilot, une librairie Python open source dédiée à la prévision de séries temporelles, propose un pipeline complet combinant modèles statistiques classiques, modèles de fondation et détection automatique d'anomalies. Un tutoriel récent détaille comment construire un tel workflow de bout en bout : après installation via pip, l'utilisateur charge le jeu de données AirPassengers (série mensuelle historique de passagers aériens) et y adjoint une série synthétique saisonnière dans laquelle trois anomalies ont été artificiellement injectées aux indices 30, 75 et 120 en multipliant les valeurs par 2,2. Le panel ainsi constitué est soumis à une batterie de modèles : les statistiques AutoARIMA, AutoETS, Theta et SeasonalNaive, le modèle Prophet de Meta, et les modèles de fondation Chronos d'Amazon (versions chronos-bolt-small ou chronos-bolt-tiny selon la disponibilité d'un GPU) et TimesFM 2.0 de Google (500 millions de paramètres, activé uniquement en présence d'un GPU). Un agent LLM intégré à TimeCopilot peut ensuite sélectionner automatiquement le meilleur modèle et restituer les prédictions dans un format analytique accessible à un non-spécialiste. L'intérêt de cette approche réside dans la mise en compétition automatisée de plusieurs familles de modèles via une validation croisée glissante assortie de plusieurs métriques d'erreur, ce qui permet d'identifier objectivement le modèle le plus performant sur chaque série. TimeCopilot unifie dans une seule interface des approches radicalement différentes, des méthodes statistiques légères tournant sur CPU aux grands modèles de fondation pré-entraînés sur des milliards de points de données, sans obliger l'utilisateur à jongler entre bibliothèques hétérogènes. La génération d'intervalles de prédiction probabilistes et la visualisation des tendances futures permettent de quantifier l'incertitude, une exigence critique en planification opérationnelle. La détection d'observations inhabituelles intégrée au même pipeline réduit le risque de biais causé par des événements exceptionnels non filtrés. Ce tutoriel s'inscrit dans une tendance plus large : depuis 2023, les modèles de fondation pour séries temporelles cherchent à reproduire pour la prévision ce que les grands modèles de langage ont accompli pour le texte, c'est-à-dire des modèles pré-entraînés capables de généraliser sans réentraînement spécifique. Chronos d'Amazon, TimesFM de Google et Moirai de Salesforce se livrent une concurrence directe sur ce créneau. TimeCopilot se positionne comme une couche d'orchestration neutre, permettant de comparer ces nouveaux modèles aux méthodes classiques dans des conditions équivalentes. L'ajout d'un agent LLM capable d'interpréter les prévisions en langage naturel signale une convergence entre prévision quantitative et IA générative qui commence à séduire les équipes data souhaitant rendre leurs analyses accessibles à des décideurs non techniques.

💬 La course aux modèles de fondation pour séries temporelles, c'est le même film que pour les LLMs il y a deux ans : Chronos chez Amazon, TimesFM chez Google, Moirai chez Salesforce. C'est le genre de convergence que j'attendais, et TimeCopilot arrive au bon moment en permettant enfin de comparer ces nouveaux modèles aux méthodes classiques dans les mêmes conditions, sans jongler entre cinq bibliothèques différentes. Reste à voir si ces mastodontes pré-entraînés sortent gagnants face à un bon AutoARIMA sur de vraies séries métier.

OutilsOutil
1 source
« Prime Intellect lance Verifiers v1, des ensembles de tâches et environnements modulaires pour l'entraînement et l'évaluation d'agents en RL »
2MarkTechPost 

« Prime Intellect lance Verifiers v1, des ensembles de tâches et environnements modulaires pour l'entraînement et l'évaluation d'agents en RL »

Prime Intellect a lancé verifiers 0.2.0, qui dévoile un cœur entièrement réécrit sous le nouvel espace de noms verifiers.v1. Cette nouvelle version répond à un constat concret : les évaluations modernes font tourner des agents de codage équipés d'outils, de mécanismes de compaction de contexte et de sous-agents, des charges de travail bien plus complexes que ce que gérait la version précédente. Verifiers désigne la pile logicielle que Prime Intellect construit pour l'apprentissage par renforcement agentique et les évaluations d'agents. Auparavant, un « environnement » mélangeait dans un même bloc les données, la logique de l'agent et l'infrastructure d'exécution. La v1 découpe cet ensemble en trois briques indépendantes : un taskset qui définit la tâche (données, outils, notation), un harness qui résout la tâche et produit un déroulé, qu'il s'agisse d'une boucle ReAct, d'un agent en ligne de commande ou d'une implémentation maison, et un runtime qui exécute ce déroulé, localement ou dans un environnement isolé de type sandbox. Grâce à ce découplage, n'importe quel taskset peut désormais fonctionner avec n'importe quel harness compatible. Au cœur de cette architecture se trouve un serveur d'interception géré par verifiers, placé entre le runtime de l'agent et le serveur d'inférence. Il agit comme un proxy pour les requêtes et les réponses, enregistre la trace complète des échanges, fixe les paramètres d'échantillonnage et peut réécrire les réponses des outils afin de limiter les détournements de récompense pendant l'entraînement. Chaque serveur gère un nombre constant de déroulés en parallèle, 32 par défaut, et un pool de serveurs s'ajuste de façon élastique selon la charge observée. Cette architecture compte parce qu'elle sépare enfin la logique de notation du type d'agent testé : comme les harnais parlent des dialectes différents, verifiers en prend en charge trois pour l'instant, les API OpenAI Chat Completions, OpenAI Responses et Anthropic Messages, chacun normalisé par un adaptateur vers un format interne unique, vf.types. Concrètement, les équipes de recherche peuvent réutiliser la même tâche et la même grille de notation pour comparer différents agents ou modèles sans réécrire leur pipeline à chaque fois. Le serveur expose aussi deux clients : un EvalClient, simple proxy HTTP transparent pendant les évaluations, et un TrainClient, qui encapsule les moteurs de rendu de tokens pour garantir un entraînement fidèle au flux réel des échanges. Ce chantier s'inscrit dans une tendance plus large du secteur de l'IA agentique, où les infrastructures d'évaluation peinent à suivre la complexité croissante d'agents autonomes capables d'utiliser des outils, de déléguer des sous-tâches ou de compresser leur contexte sur de longues sessions. Prime Intellect, connu pour ses travaux sur l'entraînement décentralisé de modèles et ses outils open source pour le renforcement, cherche avec verifiers à fournir une base commune que la communauté de recherche puisse adopter pour comparer équitablement les architectures d'agents. En modularisant tâches, harnais et environnements d'exécution, la v1 ouvre la voie à un écosystème où des tiers pourraient publier des tasksets ou des harnais réutilisables, à la manière de bibliothèques logicielles interchangeables. Le mécanisme de réécriture des réponses d'outils au niveau du serveur d'interception vise en particulier à limiter un problème récurrent en apprentissage par renforcement, celui des agents qui apprennent à exploiter des failles de la fonction de récompense plutôt qu'à progresser réellement sur la tâche. Prime Intellect présente cette version comme un aperçu, signe que d'autres évolutions sont attendues avant une stabilisation complète de l'API verifiers.v1.

OutilsActu
1 source
Les plateformes CMS dopées à l'IA transforment la gestion de contenu en entreprise
3AI News 

Les plateformes CMS dopées à l'IA transforment la gestion de contenu en entreprise

Les grandes entreprises et les éditeurs de plateformes de gestion de contenu (CMS) opèrent une mutation structurelle : les outils qui servaient historiquement à publier du contenu deviennent des plateformes d'orchestration intelligente. Selon une enquête Deloitte publiée en 2025 auprès de plus de 1 800 cadres dirigeants, les investissements en intelligence artificielle dépassent désormais le stade des projets pilotes isolés pour s'intégrer à grande échelle dans les flux de création de contenu, le service client et les opérations informatiques. Près de la moitié des organisations interrogées utilisent déjà l'IA pour automatiser des processus internes. Concrètement, un CMS intelligent ne se contente plus de stocker et de publier : il suggère des améliorations de texte, détecte les incohérences de localisation, prédit quelles variantes de contenu sont susceptibles de mieux performer et achemine automatiquement les approbations aux bons interlocuteurs. Dans une marque multinationale gérant des campagnes sur 20 marchés, 12 langues et quatre lignes de produits, cela représente des centaines de variantes à maintenir cohérentes et actualisées simultanément. L'enjeu dépasse la simple productivité interne. Les outils de recherche alimentés par l'IA et les agents d'achat automatisés s'appuient désormais directement sur les contenus des marques pour décider ce qu'ils affichent, citent ou recommandent à un acheteur potentiel. Une infrastructure de contenu fragmentée, avec des données incohérentes ou périmées, ne ralentit plus seulement les équipes éditoriales : elle rend la marque invisible ou peu fiable au moment précis où une décision d'achat se prend. Chaque outil en aval, moteur de personnalisation, assistant conversationnel ou moteur de recherche IA, reproduit et amplifie les erreurs du contenu source. Ce n'est plus un problème de qualité éditoriale, c'est un problème de distribution commerciale. Pendant des années, la réponse des entreprises à cette complexité croissante a été d'empiler des processus manuels, des systèmes cloisonnés et des équipes de coordination de plus en plus larges. Ce modèle atteignait ses limites face à l'accélération des attentes clients, qui réclament des expériences personnalisées et instantanées à chaque point de contact. La nouvelle génération de CMS entend changer la nature même de l'outil : non plus un simple outil de publication au centre d'un écosystème fragmenté, mais une fondation de contenu gouvernée à partir de laquelle tous les canaux, systèmes et agents IA tirent des informations fiables. Le défi identifié par les éditeurs n'est pas l'intention d'adopter l'IA, largement présente dans les organisations, mais la capacité à intégrer ces fonctionnalités au coeur des systèmes où le contenu est réellement créé, validé et diffusé, et non dans des outils annexes déconnectés du flux de travail principal.

UELes entreprises françaises et européennes gérant des contenus multilingues sont directement concernées par cette mutation des CMS, qui conditionne leur visibilité dans les moteurs de recherche IA et les agents d'achat automatisés.

OutilsOutil
1 source
Accélérer l'entraînement des transformers avec NVIDIA Apex et torch.amp
4MarkTechPost 

Accélérer l'entraînement des transformers avec NVIDIA Apex et torch.amp

Un tutoriel récemment publié propose une approche structurée pour accélérer l'entraînement de modèles Transformer sur GPU en s'appuyant sur NVIDIA Apex, une bibliothèque d'optimisation spécialisée. Le guide couvre en particulier trois composants : FusedAdam, un optimiseur de remplacement pour AdamW, FusedLayerNorm et FusedRMSNorm pour les couches de normalisation, ainsi que l'API de précision mixte torch.amp désormais intégrée nativement dans PyTorch. La démarche commence par la compilation d'Apex depuis les sources avec les extensions CUDA et C++, étape critique car une installation Python seule peut sembler réussie tout en ignorant silencieusement les noyaux haute performance qui font la valeur réelle de la bibliothèque. Le tutoriel inclut ensuite des benchmarks comparant FusedAdam face à PyTorch AdamW, les couches de normalisation fusionnées face aux variantes standard, puis une expérience complète d'entraînement Transformer qui mesure l'écart de débit entre un pipeline FP32 classique et une configuration combinant Apex et AMP. Les gains en jeu sont concrets : les noyaux CUDA fusionnés permettent de réduire le nombre d'opérations mémoire en combinant plusieurs calculs en un seul passage sur le GPU, ce qui se traduit directement en un débit d'entraînement supérieur et en une réduction du temps par itération. Pour les équipes qui entraînent de grands modèles de langage ou des Transformers profonds sur des infrastructures NVIDIA, ces optimisations peuvent représenter une économie significative en heures de calcul et donc en coût de GPU. La précision mixte, qui permet d'effectuer certains calculs en FP16 tout en maintenant la stabilité numérique en FP32 pour les parties sensibles, réduit également la consommation mémoire et autorise des batchs plus grands, accélérant la convergence. NVIDIA Apex est un projet open source maintenu par NVIDIA qui a longtemps servi de référence pour l'entraînement en précision mixte avant que PyTorch n'intègre nativement des fonctionnalités équivalentes via torch.amp. Aujourd'hui, certaines parties d'Apex restent pertinentes, notamment les noyaux CUDA fusionnés pour l'optimiseur et la normalisation, là où PyTorch n'offre pas encore d'alternative directe. Le tutoriel prend soin de distinguer les composants encore utiles des parties obsolètes, un arbitrage important dans un écosystème qui évolue rapidement. Avec l'essor des architectures de type GPT, Llama ou Mistral et la multiplication des entraînements à grande échelle, la demande d'outils d'optimisation bas niveau reste forte, et des bibliothèques comme Apex continuent d'alimenter les pipelines des équipes cherchant à extraire chaque milliseconde de leurs GPU NVIDIA.

OutilsTuto
1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, l'essentiel de l'IA · désinscription en un clic