Les modèles open source Gemma 4 de Google utilisent le décodage spéculatif pour atteindre jusqu'à 3x plus de rapidité

Google AI publie des générateurs MTP pour Gemma 4 : jusqu'à 3x plus rapide sans perte de qualité

Google a annoncé le lancement de drafters Multi-Token Prediction (MTP) pour sa famille de modèles Gemma 4, quelques semaines seulement après que cette gamme a franchi les 60 millions de téléchargements. Cette architecture spécialisée de décodage spéculatif permet de tripler la vitesse d'inférence, soit un gain de 3x, sans aucune perte de qualité ni de précision dans les réponses générées. Les drafters sont disponibles pour plusieurs tailles de modèles, y compris les variantes E2B et E4B conçues pour fonctionner sur appareils mobiles et équipements edge. Le problème que cette technologie résout est fondamental : les grands modèles de langage génèrent les tokens un par un, de manière séquentielle, ce qui oblige le système à charger continuellement des milliards de paramètres depuis la mémoire vidéo vers les unités de calcul. Le vrai goulot d'étranglement n'est pas la puissance brute du GPU, mais la bande passante mémoire, les processeurs restent largement sous-utilisés pendant que les données transitent. L'approche MTP contourne ce problème en découplant la génération de la vérification : un petit modèle "drafter" propose rapidement plusieurs tokens en avance, puis le modèle cible principal (comme Gemma 4 31B) vérifie l'ensemble de ces suggestions en un seul passage parallèle. Si les tokens proposés sont acceptés, l'application peut en sortir toute une séquence, plus un token supplémentaire généré par le modèle cible, dans le même temps qu'il aurait fallu pour en produire un seul. Le gain de vitesse est dit "sans perte" : la sortie finale est strictement identique à ce que le modèle aurait produit seul. Sur le plan technique, Google a introduit plusieurs optimisations architecturales pour maximiser l'efficacité. Les drafters partagent le cache KV (key-value cache) du modèle cible, ce qui évite de recalculer les contextes d'attention déjà traités. Pour les modèles edge E2B et E4B, une technique de clustering dans la couche d'embedding accélère spécifiquement le calcul des logits, l'étape qui convertit les représentations internes du modèle en probabilités sur le vocabulaire, particulièrement coûteuse sur du matériel contraint. Cette annonce s'inscrit dans une course industrielle plus large à l'efficacité d'inférence : réduire les coûts de déploiement et la latence est devenu aussi stratégique que l'amélioration des capacités brutes des modèles, surtout à mesure que les LLM s'intègrent dans des applications temps réel et des appareils grand public.

Google annonce Gemma 4, ses modèles IA open source sous licence Apache 2.0

Google a lancé ce mercredi Gemma 4, sa nouvelle génération de modèles d'IA open-weight, disponible en quatre tailles optimisées pour un usage local. La gamme comprend notamment un modèle 26 milliards de paramètres en architecture Mixture of Experts (MoE) et un modèle dense de 31 milliards de paramètres, tous deux conçus pour tourner non quantifiés en format bfloat16 sur un seul GPU NVIDIA H100 de 80 Go. Quantifiés en précision réduite, ces modèles peuvent également fonctionner sur des cartes graphiques grand public. Autre changement majeur : Google abandonne sa licence propriétaire Gemma au profit de la licence Apache 2.0, bien plus permissive et largement adoptée dans l'écosystème open source. Ce passage à l'Apache 2.0 répond directement aux frustrations exprimées par les développeurs, qui se heurtaient jusqu'ici à des restrictions d'usage limitant l'intégration de Gemma dans des projets commerciaux ou open source. La licence Apache 2.0 supprime ces barrières et aligne Gemma sur les standards attendus pour des modèles véritablement ouverts. Sur le plan technique, le modèle 26B MoE n'active que 3,8 milliards de ses 26 milliards de paramètres en inférence, ce qui lui confère un débit en tokens par seconde nettement supérieur aux modèles de taille équivalente, réduisant ainsi la latence sur du matériel local. Le 31B Dense, lui, privilégie la qualité et est pensé pour être affiné sur des cas d'usage spécifiques. Gemma 3 avait été lancé il y a plus d'un an, et cette nouvelle version s'inscrit dans une dynamique de concurrence intense autour des modèles ouverts, où Meta (avec Llama), Mistral AI et d'autres acteurs se disputent l'adoption des développeurs. Google dispose d'un avantage structurel avec ses propres accélérateurs TPU et son infrastructure cloud, mais cherche également à s'imposer sur les machines locales, un segment en forte croissance depuis l'essor des inférences embarquées. Avec Gemma 4, l'entreprise tente de réconcilier puissance et accessibilité, tout en reprenant la main sur un écosystème open source qu'elle avait jusqu'ici abordé avec prudence.

💬 Le passage à Apache 2.0, c'est la vraie nouvelle ici, pas les 26B de paramètres. La licence Gemma d'avant rendait le modèle quasi inutilisable pour quoi que ce soit de sérieux, et Google le savait depuis des mois. Reste à voir si le 26B MoE tient ses promesses en local, mais sur le papier, activer 3,8B de paramètres pour le débit d'un petit modèle avec la qualité d'un grand, c'est exactement le genre de compromis qu'on attendait.

Gemma 4 : Google lance une famille de quatre modèles IA en open source (Apache 2.0)

Google a lancé Gemma 4, sa nouvelle famille de modèles d'intelligence artificielle en open source, quelques jours avant le week-end de Pâques 2026. La gamme comprend quatre variantes baptisées E2B, E4B, 26B A4B et 31B, offrant respectivement 2,3, 4,5, 25,2 et 30,7 milliards de paramètres. Le modèle 26B A4B adopte une architecture Mixture of Experts (MoE), ce qui signifie que seuls 3,8 milliards de paramètres sont effectivement activés lors de chaque inférence, réduisant considérablement la puissance de calcul nécessaire. Tous les modèles sont multimodaux : ils traitent du texte et des images, les deux plus petits ajoutant la reconnaissance vocale. Les fenêtres de contexte atteignent 128 000 tokens pour les modèles E2B et E4B, et 256 000 tokens pour les deux plus grands. L'ensemble de la famille intègre un mode de raisonnement pas-à-pas, une prise en charge native des outils pour les workflows d'agents, ainsi que des capacités de génération et correction de code. La licence retenue est Apache 2.0, considérée comme l'une des plus permissives : elle autorise la modification, la distribution et l'usage commercial sans contrainte majeure, à condition de conserver les mentions de copyright. Ce changement de licence est la décision la plus significative de cette annonce. Jusqu'ici, Google publiait ses modèles Gemma sous une licence maison, les "Gemma Terms of Use", qui lui permettait de restreindre l'utilisation à sa discrétion. En passant à Apache 2.0, Google offre aux développeurs, entreprises et chercheurs une garantie juridique bien plus solide pour intégrer ces modèles dans des produits commerciaux ou des recherches sensibles. La diversité des tailles proposées, notamment les variantes à 2,3 et 4,5 milliards de paramètres, permet de faire tourner Gemma 4 directement sur des ordinateurs personnels ou des smartphones, sans envoyer de données vers des serveurs tiers. Pour les entreprises soucieuses de confidentialité ou les développeurs indépendants aux ressources limitées, c'est un argument concret et immédiat. Avec cette décision, Google rejoint un camp qui compte déjà Mistral avec son modèle 7B publié en septembre 2023, OpenAI avec gpt-oss-120b et Alibaba avec sa famille Qwen, tous distribués sous Apache 2.0. Meta reste en retrait avec ses modèles LLaMA, soumis à une licence plus restrictive. Le contexte concurrentiel est intense : le marché des modèles ouverts s'est considérablement animé ces dix-huit derniers mois, et Google cherche à s'y positionner comme un acteur sérieux face à des alternatives bien établies. L'annonce intervient également au moment où Anthropic durcit ses conditions d'accès pour les applications tierces sur ses modèles payants, un contraste saisissant qui renforce l'attrait de l'approche ouverte de Google. Les suites dépendront de l'adoption par la communauté et des benchmarks indépendants, mais la combinaison licence permissive et gamme de tailles variées donne à Gemma 4 de sérieux atouts pour s'imposer dans l'écosystème open source.

💬 La vraie nouvelle, c'est pas les 31 milliards de paramètres, c'est Apache 2.0. Google arrête de jouer avec ses licences maison qui laissaient planer un doute juridique permanent sur l'usage commercial, et ça change tout pour les boîtes qui hésitaient à s'engager. Le petit E2B à 2,3 milliards avec 128k de contexte qui tourne en local, bon, sur le papier c'est exactement ce qu'on attendait pour des usages RGPD-friendly. Reste à voir ce que les benchmarks indépendants vont donner, parce que Google sait aussi soigner ses annonces de Pâques.

Gemma 4 : les modèles open source les plus performants à taille égale

Google a dévoilé Gemma 4, la quatrième génération de sa famille de modèles de langage open weights, présentée comme la plus performante à ce jour dans cette gamme. Conçus pour le raisonnement avancé et les flux de travail agentiques, ces modèles sont disponibles librement pour les développeurs et chercheurs. Google les décrit comme les plus efficaces octet pour octet de leur catégorie, signalant un saut qualitatif par rapport aux versions précédentes sur les benchmarks de compréhension et de raisonnement complexe. Cette sortie est significative pour l'écosystème open source de l'IA : des modèles ouverts aussi performants permettent aux entreprises et développeurs indépendants de déployer des agents autonomes et des pipelines de raisonnement sans dépendre d'APIs propriétaires. L'accent mis sur les workflows agentiques — où le modèle planifie, exécute des actions et s'adapte en plusieurs étapes — répond à un besoin croissant de l'industrie pour des automatisations complexes accessibles localement. Gemma s'inscrit dans la stratégie de Google DeepMind de maintenir une présence forte dans l'open source face à Meta (LLaMA) et Mistral AI, qui dominent ce segment. Après Gemma 1, 2 et 3, cette quatrième itération intervient alors que la course aux modèles ouverts s'intensifie, chaque acteur cherchant à établir son architecture comme référence pour les développeurs.

💬 Mistral a un problème. Google livre des modèles ouverts sérieux sur l'agentique, et l'argument "notre archi est meilleure" va devenir de plus en plus difficile à tenir face à ça. Bon, faut voir ce que ça donne hors benchmarks.