OutilsMarkTechPost4h· 2 min de lecture

Construire des transformers économes en mémoire avec xFormers : séquences compactes, GQA, ALiBi, SwiGLU et attention causale

Un tutoriel publié récemment détaille comment exploiter xFormers, la bibliothèque open source de Meta, pour construire des modèles Transformer à la fois rapides et économes en mémoire GPU. L'auteur y implémente pas à pas cinq optimisations clés : l'attention mémoire-efficiente, le masquage causal, les séquences de longueur variable compressées (packed sequences), l'attention multi-requêtes groupées (GQA), et les biais positionnels ALiBi. Le tout culmine dans un modèle de type GPT complet, entraînable, qui intègre également des couches feed-forward SwiGLU et l'entraînement en précision mixte automatique. Les benchmarks sont conduits sur GPU CUDA avec PyTorch, en comparant xFormers à une implémentation d'attention naïve sur des longueurs de séquences allant de 512 à 4 096 tokens.

L'enjeu central est la mémoire. L'attention standard matérialise en mémoire une matrice de scores de taille M×M (nombre de tokens au carré), ce qui devient rapidement prohibitif à mesure que les séquences s'allongent : doubler la longueur quadruple la consommation mémoire. L'attention mémoire-efficiente de xFormers calcule le même résultat exact sans jamais stocker cette matrice complète, grâce à une réécriture algorithmique de type FlashAttention. En pratique, cela permet d'entraîner des modèles sur des séquences bien plus longues avec le même matériel, ou d'augmenter la taille des batches, ce qui accélère la convergence. Pour les chercheurs et les ingénieurs qui travaillent avec des ressources GPU limitées, notamment sur du matériel grand public ou des serveurs partagés, ces gains ne sont pas marginaux : ils peuvent rendre faisable ce qui ne l'était pas.

xFormers est développé par Meta AI et s'inscrit dans un mouvement plus large d'optimisation des Transformers, apparu après la publication de FlashAttention par Tri Dao et ses collègues de Stanford en 2022. Depuis, plusieurs bibliothèques concurrentes ont émergé (FlashAttention-2, FlashAttention-3, Triton), mais xFormers se distingue par son intégration directe dans l'écosystème PyTorch et par la richesse de ses primitives prêtes à l'emploi : GQA pour réduire le coût des têtes d'attention, ALiBi pour généraliser à des longueurs de séquences non vues à l'entraînement, SwiGLU pour améliorer la qualité des représentations. Ces briques sont précisément celles qu'utilisent des modèles de référence comme LLaMA ou Mistral. Ce tutoriel illustre comment les assembler concrètement, comblant ainsi le fossé entre la théorie des papiers de recherche et leur mise en oeuvre opérationnelle.

Impact France/UE

Ces optimisations de mémoire GPU, utilisées notamment par Mistral, bénéficient aux équipes de recherche européennes qui entraînent des modèles avec des ressources GPU limitées.

Dans nos dossiers

CUDA Mistral AI Meta IA Open weight & Open source

Cet article vous a été utile ?

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

1MarkTechPost

Accélérer l'entraînement des transformers avec NVIDIA Apex et torch.amp

Un tutoriel récemment publié propose une approche structurée pour accélérer l'entraînement de modèles Transformer sur GPU en s'appuyant sur NVIDIA Apex, une bibliothèque d'optimisation spécialisée. Le guide couvre en particulier trois composants : FusedAdam, un optimiseur de remplacement pour AdamW, FusedLayerNorm et FusedRMSNorm pour les couches de normalisation, ainsi que l'API de précision mixte torch.amp désormais intégrée nativement dans PyTorch. La démarche commence par la compilation d'Apex depuis les sources avec les extensions CUDA et C++, étape critique car une installation Python seule peut sembler réussie tout en ignorant silencieusement les noyaux haute performance qui font la valeur réelle de la bibliothèque. Le tutoriel inclut ensuite des benchmarks comparant FusedAdam face à PyTorch AdamW, les couches de normalisation fusionnées face aux variantes standard, puis une expérience complète d'entraînement Transformer qui mesure l'écart de débit entre un pipeline FP32 classique et une configuration combinant Apex et AMP. Les gains en jeu sont concrets : les noyaux CUDA fusionnés permettent de réduire le nombre d'opérations mémoire en combinant plusieurs calculs en un seul passage sur le GPU, ce qui se traduit directement en un débit d'entraînement supérieur et en une réduction du temps par itération. Pour les équipes qui entraînent de grands modèles de langage ou des Transformers profonds sur des infrastructures NVIDIA, ces optimisations peuvent représenter une économie significative en heures de calcul et donc en coût de GPU. La précision mixte, qui permet d'effectuer certains calculs en FP16 tout en maintenant la stabilité numérique en FP32 pour les parties sensibles, réduit également la consommation mémoire et autorise des batchs plus grands, accélérant la convergence. NVIDIA Apex est un projet open source maintenu par NVIDIA qui a longtemps servi de référence pour l'entraînement en précision mixte avant que PyTorch n'intègre nativement des fonctionnalités équivalentes via torch.amp. Aujourd'hui, certaines parties d'Apex restent pertinentes, notamment les noyaux CUDA fusionnés pour l'optimiseur et la normalisation, là où PyTorch n'offre pas encore d'alternative directe. Le tutoriel prend soin de distinguer les composants encore utiles des parties obsolètes, un arbitrage important dans un écosystème qui évolue rapidement. Avec l'essor des architectures de type GPT, Llama ou Mistral et la multiplication des entraînements à grande échelle, la demande d'outils d'optimisation bas niveau reste forte, et des bibliothèques comme Apex continuent d'alimenter les pipelines des équipes cherchant à extraire chaque milliseconde de leurs GPU NVIDIA.

OutilsTuto

1 source

2MarkTechPost

Construire un système d'agents modulaires à base de compétences pour LLM avec routage dynamique d'outils en Python

Un tutoriel publié récemment détaille comment construire en Python un système d'agents modulaires à base de compétences pour les grands modèles de langage, avec routage dynamique des outils. L'implémentation repose sur OpenAI (modèle GPT-4o-mini) et les bibliothèques open source Pydantic et Rich. L'architecture centrale s'articule autour de trois briques : une classe abstraite Skill qui encapsule chaque capacité (métadonnées, schéma JSON, logique d'exécution), un SkillRegistry qui joue le rôle de catalogue centralisé, et un orchestrateur qui sélectionne et enchaîne les compétences via le mécanisme de tool calling de l'API OpenAI. Chaque compétence est versionnée, auto-descriptive et expose automatiquement son schéma au format attendu par l'API, ce qui permet à un agent de l'invoquer sans configuration manuelle. L'intérêt de cette approche réside dans la séparation stricte entre la logique de chaque compétence et le raisonnement de l'agent. Concrètement, l'agent peut sélectionner la bonne compétence pour une tâche donnée, en composer plusieurs pour des workflows complexes, et charger de nouvelles capacités à chaud en cours d'exécution sans redémarrer le système. Un tableau de bord d'observabilité intégré trace le nombre d'appels et la latence moyenne de chaque compétence, ce qui facilite le débogage et l'optimisation en production. Pour les équipes qui construisent des agents LLM, cette modularité réduit la dette technique : ajouter une nouvelle capacité revient à écrire une classe isolée, sans toucher au reste du pipeline. Cette architecture s'inscrit dans une tendance plus large de structuration des systèmes agentiques, accélérée par la généralisation du tool calling dans les API des principaux fournisseurs (OpenAI, Anthropic, Google). La métaphore utilisée dans le tutoriel est explicite : le registre de compétences fonctionne comme une table de syscalls d'un système d'exploitation, l'agent étant le noyau qui dispatche les requêtes. Face à la multiplication des frameworks concurrents (LangChain, LlamaIndex, AutoGen), cette approche "from scratch" permet de comprendre les mécanismes sous-jacents et d'éviter les abstractions opaques. La prochaine étape logique de cette architecture est l'ajout de mémoire persistante et de planification multi-tours, deux fronts sur lesquels la recherche en agents LLM reste très active en 2025.

OutilsTuto

1 source

3MarkTechPost

Construire un agent IA avancé avec planification, appel d'outils, mémoire et auto-critique via l'OpenAI API

Un tutoriel publié sur la plateforme de notebooks Colab détaille comment construire un système d'IA agentique avancé en s'appuyant sur l'API OpenAI et le modèle GPT-5.2. L'architecture proposée repose sur un pipeline de trois rôles spécialisés et distincts : un planificateur qui décompose les objectifs complexes en étapes, un exécuteur qui mobilise des outils concrets pour agir, et un critique qui évalue la qualité des résultats avant de les valider. Quatre outils sont intégrés directement dans le système : une calculatrice sécurisée qui accepte uniquement des expressions numériques sans variables, un moteur de recherche dans une base de connaissances interne simulant des playbooks d'équipe, un extracteur JSON pour produire des sorties structurées, et un module d'écriture de fichiers qui sauvegarde les livrables finaux avec une empreinte SHA-256 de vérification. La clé API est transmise via getpass() pour éviter toute exposition dans le code ou les sorties du notebook. Cette approche modulaire représente un changement de paradigme dans la façon de concevoir des agents IA. En séparant strictement la stratégie, l'action et le contrôle qualité en trois couches distinctes, le système évite les dérives courantes des agents monolithiques qui mélangent raisonnement et exécution sans garde-fous. Le composant critique intégré permet une autocorrection systématique avant la réponse finale, ce qui réduit les hallucinations et améliore la fiabilité des sorties dans des contextes professionnels. Pour les développeurs et les entreprises qui cherchent à automatiser des workflows complexes (rédaction de comptes-rendus de réunion, traitement de données structurées, génération de rapports), ce type d'architecture offre une robustesse que les chatbots conversationnels classiques ne peuvent pas atteindre. Ce tutoriel s'inscrit dans une vague plus large d'intérêt pour les systèmes multi-agents et les architectures dites "agentic", portées notamment par les travaux d'Anthropic sur Claude, de Google avec Gemini, et d'OpenAI elle-même avec ses API d'assistants et de function calling. L'émergence de GPT-5.2, le modèle utilisé ici, illustre la rapidité avec laquelle les capacités de base progressent et rendent ces architectures accessibles à un plus grand nombre de développeurs. La tendance de fond est claire : les LLM cessent d'être de simples générateurs de texte pour devenir des orchestrateurs capables de planifier, d'agir sur des systèmes externes et de s'autocorriger, ce qui rapproche concrètement l'IA générative des promesses d'automatisation avancée que l'industrie promet depuis plusieurs années.

OutilsTuto

1 source

4MarkTechPost

Comment construire des agents IA de cybersécurité avancés avec CAI : outils, garde-fous, transferts et workflows multi-agents

CAI (Cybersecurity AI Framework) est un framework Python open source conçu pour construire des agents d'intelligence artificielle spécialisés en cybersécurité. Un tutoriel détaillé publié récemment démontre, étape par étape dans Google Colab, comment exploiter CAI pour créer des pipelines d'analyse de sécurité complets — depuis un agent basique jusqu'à des architectures multi-agents capables de raisonner, déléguer des tâches, valider des entrées et répondre en temps réel via streaming. Le framework s'installe en une commande (pip install cai-framework), s'appuie sur des modèles compatibles OpenAI comme GPT-4o mini, et expose des classes Python natives — Agent, Runner, function_tool, handoff — pour assembler des workflows de sécurité structurés sans infrastructure complexe. Ce que CAI change concrètement, c'est la capacité à transformer des fonctions Python ordinaires en outils d'analyse que l'agent peut invoquer de manière autonome : vérification de réputation d'adresses IP, simulation de scan de ports style nmap, orchestration de pipelines CTF (Capture The Flag), ou gestion de contexte multi-tours lors d'un incident. Les guardrails d'entrée permettent de filtrer les requêtes hors périmètre avant qu'elles n'atteignent le modèle, réduisant le bruit et les hallucinations. Les handoffs entre agents spécialisés — un agent réseau, un agent forensic, un agent de remédiation — permettent de simuler une équipe SOC entière dans un seul workflow automatisé. Pour les professionnels de la sécurité, cela signifie qu'une grande partie du triage et de l'analyse de premier niveau devient automatisable avec quelques dizaines de lignes de code. CAI s'inscrit dans une tendance plus large qui voit les frameworks d'agents IA (LangChain, AutoGen, OpenAI Agents SDK) être déclinés pour des domaines métier spécifiques. La cybersécurité est un terrain particulièrement fertile : les analystes SOC font face à des volumes d'alertes croissants, les pénétrateurs répètent des tâches de reconnaissance standardisées, et les CTF constituent un terrain d'entraînement idéal pour des agents capables de raisonnement multi-étapes. Le fait que CAI soit compatible avec n'importe quel modèle exposant une API OpenAI — y compris des modèles locaux via OpenRouter ou Ollama — le rend accessible sans dépendance à un fournisseur cloud unique. La prochaine étape naturelle pour le framework serait l'intégration avec des outils réels (Shodan, VirusTotal, SIEM) et des environnements de sandboxing pour tester des exploits sans risque, ce qui en ferait un copilote crédible pour les équipes de sécurité offensives et défensives.

OutilsOutil

1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, rédigé par un humain · désinscription en un clic