LLMsHuggingFace Blog · 28 mars 2025, 01:00· 1 min de lecture

🚀 Accélération de l'inférence LLM avec TGI sur Intel Gaudi

🚀 L'article présente une méthode nommée TGI (Token Grouping Inference) pour accélérer l'inférence des modèles de langage grand (LLM) sur les processeurs Intel Gaudi. TGI réorganise les tokens du texte pour optimiser l'utilisation des ressources parallèles, augmentant ainsi les performances de 1.7 à 2.2 fois par rapport aux méthodes traditionnelles. Les expérimentations ont montré une amélioration significative dans l'inférence de grande échelle des LLMs.

Impact France/UE

TGI accélère l'inférence des grands modèles de langage sur les processeurs Intel Gaudi, bénéficiant potentiellement aux entreprises européennes comme Hugging Face, utilisant ce type de matériel, en optimisant leur efficacité et leurs performances.

Cet article vous a été utile ?

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

1Le Big Data

DiffusionGemma : l’IA de Google met un coup d’accélérateur à la génération de texte

Google a présenté DiffusionGemma, un modèle expérimental de génération de texte qui abandonne l'approche séquentielle classique au profit d'une génération par blocs parallèles. Reposant sur une architecture Mixture of Experts de 26 milliards de paramètres, dont seulement 3,8 milliards activés lors de la génération, le modèle traite jusqu'à 256 jetons simultanément plutôt que de les produire un par un. Google revendique une vitesse pouvant atteindre plus de 1 000 jetons par seconde sur certains accélérateurs haut de gamme, soit jusqu'à quatre fois plus rapide que les modèles autorégressifs traditionnels comme Gemma 4. Le fonctionnement s'inspire directement des modèles de diffusion d'images : DiffusionGemma part d'un brouillon de jetons aléatoires, qu'il affine sur plusieurs passes successives jusqu'à produire un texte cohérent. Son attention bidirectionnelle permet à chaque partie du texte généré de prendre en compte l'ensemble du bloc en cours de construction, ce qui le rend particulièrement adapté à des tâches comme l'édition, le remplissage de code ou toute application où le contexte global est déterminant. Cette vitesse d'exécution représente un enjeu concret pour les développeurs qui cherchent à intégrer des IA dans des interfaces temps réel, des outils d'autocomplétion ou des applications où la latence perçue doit être quasi nulle. En exploitant plus efficacement la parallélisation des GPU modernes, DiffusionGemma réduit aussi les ressources laissées inutilisées entre chaque jeton généré sous l'approche classique. Sa compatibilité avec des GPU grand public, grâce à l'activation partielle des paramètres, ouvre également la porte à des déploiements moins coûteux en infrastructure, un argument de poids pour les équipes qui opèrent hors des datacenters hyperscale. Cette annonce s'inscrit dans une dynamique plus large d'expérimentation autour des alternatives aux modèles autorégressifs. La recherche sur les modèles de diffusion textuelle existe depuis plusieurs années, mais leur intégration dans des architectures de grande taille et leur viabilité pratique restaient limitées. Google, en publiant DiffusionGemma sous forme expérimentale, reconnaît lui-même que la qualité globale des réponses reste inférieure à celle de Gemma 4 classique : la vitesse a un coût en précision et en cohérence générale. Le modèle n'est donc pas encore positionné comme un successeur direct de la gamme Gemma, mais comme un terrain d'expérimentation pour les cas d'usage où la rapidité prime sur la finesse. L'enjeu des prochains mois sera de savoir si la recherche parvient à combler cet écart de qualité, et si d'autres acteurs comme Meta, Mistral ou OpenAI s'engagent à leur tour sur cette voie architecturale.

UESi Mistral ou d'autres labos européens adoptent cette voie architecturale, les équipes du continent pourraient disposer d'alternatives ouvertes haute vitesse réduisant leur dépendance aux infrastructures hyperscale américaines.

LLMsOpinion

1 source

2VentureBeat AI

DeepSeek publie en open source DSpark, un framework qui accélère l'inférence des LLM jusqu'à 85%

DeepSeek a publié ce week-end DSpark, un nouveau système open source sous licence MIT conçu pour accélérer significativement l'inférence des grands modèles de langage. Le framework repose sur une technique appelée décodage spéculatif : un petit module "brouillon" anticipe plusieurs tokens à l'avance, tandis que le modèle principal valide ou invalide ces prédictions en une seule passe. Lorsque les prédictions sont bonnes, le modèle avance beaucoup plus vite ; lorsqu'elles sont mauvaises, DSpark évite de gaspiller des ressources à les vérifier. DeepSeek a rendu publics le code source sur GitHub et Hugging Face, un article technique détaillant la méthode, les checkpoints des modèles, ainsi que DeepSpec, une base de code dédiée à l'entraînement et à l'évaluation de systèmes de décodage spéculatif. Le framework a été testé en production sur DeepSeek-V4-Flash, un modèle mixture-of-experts de 284 milliards de paramètres avec 13 milliards de paramètres actifs, et sur DeepSeek-V4-Pro, le modèle phare de 1,6 billion de paramètres avec 49 milliards de paramètres actifs, les deux supportant des fenêtres de contexte allant jusqu'à un million de tokens. Les chiffres publiés par DeepSeek sont substantiels. En production, DSpark améliore le débit global de 51% pour V4-Flash et de 52% pour V4-Pro à des cibles de service réalistes (respectivement 80 et 35 tokens par seconde par utilisateur). À capacité système équivalente, la vitesse de génération perçue par chaque utilisateur individuel augmente de 60 à 85% pour V4-Flash et de 57 à 78% pour V4-Pro par rapport à la baseline MTP-1 précédente. Ces gains concernent directement l'expérience utilisateur dans les cas d'usage les plus exigeants : chatbots grand public, assistants de code, workflows agentiques et systèmes d'entreprise où la fluidité des réponses longues est critique pour l'adoption. Réduire la latence d'inférence sans modifier les sorties du modèle est l'un des problèmes les plus coûteux de l'industrie IA, car il conditionne directement l'économie du déploiement à grande échelle. DSpark n'est pas conçu comme une solution réservée aux modèles DeepSeek. Les checkpoints publiés couvrent d'autres familles de modèles open source, notamment Qwen d'Alibaba et Gemma de Google, ouvrant la porte à des adaptations par des équipes tierces qui contrôlent leurs propres poids et infrastructure de déploiement. Cette publication intervient dans un contexte géopolitique tendu, alors que le gouvernement américain cherche à limiter l'accès aux modèles d'Anthropic et OpenAI sur certains marchés. DeepSeek, qui avait déjà bouleversé les références de l'industrie début 2025 avec ses modèles R1 et V3, confirme avec DSpark une stratégie délibérée d'open source agressif qui redistribue les capacités technologiques à l'échelle mondiale, indépendamment des restrictions diplomatiques.

UELes équipes européennes déployant des LLM open source (Qwen, Gemma) peuvent améliorer leur débit d'inférence de 50 à 85% sans modifier les sorties des modèles, réduisant les coûts d'infrastructure et renforçant l'indépendance vis-à-vis des solutions propriétaires américaines.

LLMsActu

1 source

3HuggingFace Blog

Gemma 4 : intelligence multimodale de pointe sur appareil

Google DeepMind a lancé Gemma 4, sa nouvelle génération de modèles open source, disponible depuis début avril 2025. Cette famille comprend quatre variantes allant de 1 milliard à 27 milliards de paramètres, toutes capables de traiter texte et images simultanément. Les modèles sont disponibles sur Hugging Face, Google AI Studio et Kaggle, avec des licences permissives autorisant leur usage commercial. La particularité de Gemma 4 réside dans sa capacité multimodale optimisée pour les appareils locaux, depuis les smartphones jusqu'aux ordinateurs personnels, sans dépendance à un serveur distant. Le modèle 27B affiche des performances comparables à des systèmes bien plus volumineux sur les benchmarks de raisonnement et de vision, tandis que le 1B peut tourner directement sur mobile, ouvrant la voie à des applications IA entièrement hors ligne. Cette sortie s'inscrit dans la compétition ouverte qui oppose Google à Meta, Microsoft et Mistral sur le segment des modèles open source embarqués. Depuis Gemma 1 en février 2024, Google a accéléré le rythme de ses publications pour ne pas céder ce terrain stratégique à Llama. La course aux modèles multimodaux légers devient un enjeu central pour l'IA souveraine et les usages professionnels sans connectivité cloud.

UELes modèles embarqués sans dépendance cloud s'alignent avec les exigences d'IA souveraine portées par l'UE, facilitant des déploiements professionnels conformes au RGPD sans transfert de données vers des serveurs tiers.

LLMsOpinion

1 source

4Numerama

« Je pense qu’on a atteint l’intelligence artificielle générale » : le patron de Nvidia surprend tout le monde avec cette phrase

Jensen Huang, le PDG de Nvidia, a créé la surprise en affirmant lors du podcast de Lex Fridman qu'à ses yeux, l'intelligence artificielle générale, l'AGI, pourrait déjà être une réalité. Une déclaration inattendue de la part d'un des acteurs les plus influents du secteur des semi-conducteurs, qui alimente depuis des semaines un vif débat dans la communauté technologique. L'AGI est traditionnellement définie comme une IA capable de réaliser toute tâche cognitive que peut accomplir un être humain, voire de le surpasser dans tous les domaines. Si ce seuil est effectivement franchi, les implications pour l'économie, la recherche scientifique et la société dans son ensemble seraient considérables. La déclaration de Huang intervient dans un contexte où les grands laboratoires d'IA s'affrontent à coups de modèles toujours plus puissants, et où la question du moment de l'atteinte de l'AGI est devenue un enjeu stratégique et commercial majeur. La nuance essentielle réside dans la définition même de l'AGI. Huang a lui-même reconnu que tout dépend du cadre conceptuel retenu. Pour certains chercheurs, l'AGI suppose une compréhension profonde du monde réel, une capacité d'apprentissage autonome et une adaptabilité générale que les systèmes actuels n'atteignent pas encore. Pour d'autres, les grands modèles de langage actuels remplissent déjà de nombreux critères fonctionnels associés à une intelligence générale. Nvidia, dont les GPU sont au cœur de l'entraînement de tous les grands modèles d'IA, a un intérêt évident à positionner le secteur comme étant à la frontière de cette rupture technologique. Ces propos relancent un débat fondamental que l'industrie peine à trancher faute de consensus sur une définition rigoureuse. Des figures comme Yann LeCun de Meta restent sceptiques quant à la capacité des architectures actuelles à atteindre une vraie généralité cognitive, tandis que d'autres, comme Sam Altman d'OpenAI, anticipent l'AGI pour un horizon très proche. La prise de position de Huang, aussi ambiguë soit-elle, confirme que la course à l'AGI est désormais autant une bataille de narratif qu'une compétition purement technique.

UELa définition retenue pour l'AGI alimentera les débats réglementaires européens, notamment l'interprétation de l'AI Act et la classification des systèmes d'IA à haut risque.

LLMsOpinion

1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, l'essentiel de l'IA · désinscription en un clic