RechercheHuggingFace Blog42sem

Aucune GPU ne sera oubliée : Débloquer l'efficacité avec des vLLM co-localisés dans TRL

39

1 source couvre ce sujet·Source originale ↗·

Résumé IA

Titre: Personne n'est laissé pour compte : Débloquer l'efficacité avec des vLLM co-localisés dans TRL Résumé: L'article explore l'utilisation de modèles linguistiques généraux de grande taille (vLLM) co-localisés dans le contexte de TRL (environnement de test en laboratoire) pour améliorer l'efficacité et la collaboration entre les GPU (unités de traitement graphique). Les expériences montrent une amélioration significative des performances, réduisant ainsi les déchets de ressources et augmentant l'utilisation des GPU. Des résultats prometteurs pour l'optimisation des systèmes de calcul.

Impact France/UE

Dans le contexte de l'Union Européenne, cette approche de co-localisation des vLLM dans les TRL pourrait améliorer l'efficacité des centres de données européens, réduisant ainsi la consommation énergétique et les coûts pour les entreprises technologiques européennes, comme OVHcloud ou Bull, impliquées dans les infrastructures de calcul à grande échelle, tout en respectuant les exigences de l'AI Act et du RGPD.

À lire aussi

1MarkTechPost4h

NVIDIA AI présente PivotRL : un nouveau framework d'IA atteignant une haute précision agentique avec 4 fois moins de tours de simulation

NVIDIA a présenté PivotRL, un nouveau cadre d'entraînement pour les grands modèles de langage (LLM) conçu pour les tâches agentiques complexes comme l'ingénierie logicielle, la navigation web ou l'utilisation d'outils. Développé par des chercheurs de NVIDIA, PivotRL réduit le nombre de tours de simulation nécessaires d'un facteur 4 tout en maintenant une précision élevée. Le système repose sur deux mécanismes clés : le « Pivot Filtering », qui identifie les étapes d'entraînement les plus instructives, et les « Functional Rewards », qui évaluent les actions par équivalence fonctionnelle plutôt que par correspondance exacte de texte. Ce framework s'attaque à un problème central dans le domaine : les méthodes de fine-tuning supervisé (SFT) sont peu coûteuses mais généralisent mal hors de leur domaine d'entraînement, tandis que l'apprentissage par renforcement de bout en bout (E2E RL) offre une meilleure généralisation mais exige des ressources de calcul considérables. PivotRL cherche à combiner le meilleur des deux approches en opérant sur des trajectoires SFT existantes, concentrant le calcul uniquement sur les états d'entraînement qui fournissent le signal d'apprentissage le plus fort. L'entraînement post-déploiement des LLM pour des agents autonomes est devenu l'un des défis majeurs de l'IA en 2025-2026, à mesure que l'industrie cherche à déployer des systèmes capables d'exécuter des tâches longues et complexes de manière fiable et économique.

2Les Numériques IA6h

Actualité : OpenAI ferme brutalement Sora, l'usine à slop la plus chère de l'histoire de l'IA

OpenAI a annoncé le 24 mars 2026 la fermeture brutale de Sora, son outil d'IA pour créer des vidéos, décrite comme l'usine à slop la plus coûteuse de l'histoire de l'IA. Aucune justification n'est donnée officiellement ; une communication ultérieure devrait préciser le calendrier et les mesures pour sauvegarder les contenus utilisateur.

UELa fermeture soudaine de Sora par OpenAI affecte potentiellement les utilisateurs et développeurs européens qui ont investi dans cet outil d'IA pour la création de vidéos.

3MarkTechPost14h

L'attention paginée dans les grands modèles de langage

Dans les LLMs à grande échelle, la mémoire GPU est le principal goulot d'étranglement : chaque requête réserve un bloc fixe pour le cache KV basé sur la longueur maximale de séquence (2048 tokens, soit 1024 Mo), alors qu'en moyenne seulement 24,4 % de cet espace est réellement utilisé — représentant 75 Go gaspillés pour 100 utilisateurs simultanés. Le Paged Attention résout ce problème en découpant le cache KV en petits blocs alloués dynamiquement (16 tokens par page, inspiré de la mémoire virtuelle), permettant aussi à plusieurs requêtes partageant le même prompt de partager la mémoire via un mécanisme Copy-on-Write. Cette approche améliore drastiquement l'efficacité mémoire et le débit, mesurée ici sur des batchs de 10 à 200 requêtes simultanées.

4MarkTechPost17h

TinyLoRA : une méthode d'affinage à 13 paramètres qui atteint 91,8 % sur GSM8K avec Qwen2.5-7B

Des chercheurs de Meta FAIR, Cornell et Carnegie Mellon ont présenté TinyLoRA, une méthode de fine-tuning extrêmement compacte atteignant 91,8 % sur le benchmark GSM8K avec seulement 13 paramètres (26 octets en bf16) sur un modèle Qwen2.5-7B. La clé est l'utilisation du reinforcement learning (GRPO) plutôt que le fine-tuning supervisé, qui nécessite 100 à 1 000 fois plus de paramètres pour des performances équivalentes. TinyLoRA exploite une décomposition SVD tronquée des poids gelés projetée via un vecteur entraînable de très faible dimension, permettant un partage extrême des paramètres entre toutes les couches.