Gemma 4 12B permet des flux de travail multimodaux à base d'agents sur appareil, sans encodeur

Gemma 4 : intelligence multimodale de pointe sur appareil

Google DeepMind a lancé Gemma 4, sa nouvelle génération de modèles open source, disponible depuis début avril 2025. Cette famille comprend quatre variantes allant de 1 milliard à 27 milliards de paramètres, toutes capables de traiter texte et images simultanément. Les modèles sont disponibles sur Hugging Face, Google AI Studio et Kaggle, avec des licences permissives autorisant leur usage commercial. La particularité de Gemma 4 réside dans sa capacité multimodale optimisée pour les appareils locaux, depuis les smartphones jusqu'aux ordinateurs personnels, sans dépendance à un serveur distant. Le modèle 27B affiche des performances comparables à des systèmes bien plus volumineux sur les benchmarks de raisonnement et de vision, tandis que le 1B peut tourner directement sur mobile, ouvrant la voie à des applications IA entièrement hors ligne. Cette sortie s'inscrit dans la compétition ouverte qui oppose Google à Meta, Microsoft et Mistral sur le segment des modèles open source embarqués. Depuis Gemma 1 en février 2024, Google a accéléré le rythme de ses publications pour ne pas céder ce terrain stratégique à Llama. La course aux modèles multimodaux légers devient un enjeu central pour l'IA souveraine et les usages professionnels sans connectivité cloud.

Gemma 4 12B : Google apporte l’IA multimodale sur les PC grand public

Google a lancé le 3 juin 2026 Gemma 4 12B, un modèle d'intelligence artificielle multimodal conçu pour fonctionner sur des ordinateurs grand public disposant de seulement 16 Go de mémoire vive. Contrairement aux grands modèles qui nécessitent des infrastructures cloud coûteuses, ce modèle intermédiaire de la famille Gemma est capable de traiter simultanément du texte, des images et de l'audio directement en local. Selon Google, ses performances sur plusieurs benchmarks se rapprochent de celles du modèle Gemma 26B, pourtant bien plus imposant. Le modèle est d'ores et déjà accessible via des outils populaires comme LM Studio, Ollama, les applications Google AI Edge Gallery et AI Edge Eloquent, ainsi qu'une interface en ligne de commande nommée LiteRT-LM. Les poids préentraînés sont disponibles sur Hugging Face et Kaggle. L'enjeu principal est la souveraineté des données et l'accessibilité de l'IA avancée. En permettant l'exécution locale d'un modèle multimodal capable de transcrire, reformater ou traduire du contenu vocal sans connexion internet, Google ouvre la voie à des cas d'usage concrets pour les professionnels et particuliers soucieux de ne pas envoyer leurs données vers des serveurs distants. L'analyse de documents, les assistants personnels et l'automatisation de tâches deviennent envisageables sur une machine ordinaire, sans abonnement cloud. C'est un changement de paradigme potentiellement significatif pour les entreprises de taille moyenne, les développeurs indépendants et les utilisateurs dans des environnements à connectivité limitée. Cette annonce s'inscrit dans une tendance de fond qui voit les grands acteurs de l'IA rivaliser sur le segment des modèles compacts et open, face à la montée de concurrents comme Meta avec Llama, Mistral ou encore Microsoft. La véritable originalité architecturale de Gemma 4 12B réside dans l'abandon des encodeurs séparés pour le traitement visuel et audio : au lieu d'assembler plusieurs briques spécialisées, le modèle intègre nativement ces modalités dans son réseau principal, réduisant les calculs intermédiaires et la consommation mémoire. Cette approche, techniquement délicate à mettre en oeuvre sans sacrifier les performances, représente aussi la première fois qu'un modèle intermédiaire de la gamme Gemma gère nativement l'audio. Google positionne ainsi Gemma 4 12B comme une brique de base pour des applications dites agentiques, capables d'agir de manière autonome sur l'appareil de l'utilisateur, un segment sur lequel la compétition entre laboratoires devrait s'intensifier dans les prochains mois.

💬 C'est le genre de modèle qu'on attendait : multimodal, 16 Go de RAM, dispo sur Ollama maintenant. L'audio natif sans encodeur séparé, c'est la vraie nouveauté technique, et ça change quelque chose pour qui veut traiter de la voix en local sans envoyer ses données quelque part. Reste à voir si les perfs tiennent dans les vrais usages, mais j'ai déjà lancé le pull.

Google DeepMind publie Gemma 4 12B : un modèle multimodal sans encodeur avec audio natif, utilisable sur un PC portable 16 Go

Google DeepMind a publié Gemma 4 12B, un modèle multimodal dense de 12 milliards de paramètres disponible sous licence Apache 2.0. Contrairement à ses prédécesseurs, ce modèle supprime totalement les encodeurs séparés pour la vision et l'audio : les images, vidéos et sons sont traités directement par le décodeur principal, sans couche intermédiaire dédiée. Concrètement, l'encodeur visuel de 550 millions de paramètres et l'encodeur audio de 300 millions de paramètres présents dans les modèles précédents disparaissent au profit d'une projection légère : les images sont découpées en blocs de 48x48 pixels projetés via une simple multiplication matricielle, et l'audio 16 kHz est découpé en trames de 40 ms converties directement en embeddings. Le modèle tourne sur un ordinateur portable grand public disposant de 16 Go de VRAM ou de mémoire unifiée, y compris les Mac Apple Silicon, et est compatible avec les outils les plus répandus : llama.cpp, Ollama, vLLM, MLX, LM Studio et Unsloth. Cette architecture unifiée change concrètement la façon dont on fine-tune et déploie des modèles multimodaux. Puisqu'il n'existe plus d'encodeurs figés, une adaptation via LoRA ou un entraînement complet met à jour simultanément le traitement du texte, de la vision et de l'audio en une seule passe, ce qui simplifie considérablement le pipeline d'entraînement. Sur le plan des performances, Google DeepMind annonce que le 12B s'approche du modèle Gemma 4 26B Mixture of Experts sur les benchmarks standards, avec moins de la moitié de l'empreinte mémoire. Le modèle est capable de reconnaissance vocale native, de diarisation (distinction des locuteurs), de compréhension vidéo, et de raisonnement agentique multi-étapes en local, sans dépendance à un service cloud. Une démonstration a montré l'analyse d'un segment de 5 minutes du keynote Google I/O à partir de 313 images à 1 FPS, avec un budget de 70 tokens visuels par image. Gemma 4 12B s'inscrit dans une stratégie claire de Google DeepMind : combler l'écart entre les petits modèles embarqués comme le E4B et les architectures plus lourdes comme le 26B MoE, tout en poussant l'open source comme levier de diffusion. La suppression des encodeurs n'est pas qu'un choix technique : elle réduit la latence au démarrage puisque le décodeur commence le traitement sans attendre qu'un encodeur termine, ce qui est critique pour les usages agentiques en temps réel. Le modèle est disponible sur Hugging Face sous l'identifiant google/gemma-4-12B-it et sur Kaggle. Dans un contexte où Meta, Mistral et Qwen multiplient les sorties open source performantes à l'edge, ce Gemma 4 12B positionne Google sur le terrain des modèles multimodaux locaux, un segment jusqu'ici dominé par des solutions propriétaires ou des architectures nécessitant du matériel serveur.

Gemma 4 : les meilleurs petits modèles multimodaux open source, nettement supérieurs à Gemma 3

Google DeepMind a lancé Gemma 4 les 1er et 2 avril 2026, une nouvelle famille de modèles open-weight qui marque le bond le plus significatif de la série depuis un an. Quatre variantes sont disponibles : un modèle dense de 31 milliards de paramètres, un modèle MoE de 26 milliards (avec seulement 4 milliards de paramètres actifs, baptisé 26B-A4B), et deux modèles compacts orientés mobile et IoT, l'E4B et l'E2B, dotés de capacités multimodales natives incluant texte, vision et audio. Tous sont publiés sous licence Apache 2.0, un changement majeur par rapport aux licences plus restrictives des versions précédentes. Les grands modèles supportent une fenêtre de contexte allant jusqu'à 256 000 tokens, avec des capacités de function calling et de génération JSON structurée. Sur les benchmarks, le 31B se classe troisième parmi tous les modèles open-source selon l'Arena Leaderboard, et premier parmi les modèles américains ouverts, affichant un score de 85,7 % sur GPQA Diamond en mode raisonnement, à égalité avec des modèles bien plus massifs comme Kimi K2.5 (744 milliards de paramètres) ou GLM-5 de Z.ai (1 000 milliards de paramètres). Ces résultats sont importants pour l'ensemble de l'écosystème open-source car ils démontrent qu'un modèle de 31 milliards de paramètres peut rivaliser avec des architectures vingt fois plus grandes, rendant le déploiement local économiquement viable pour des entreprises de toutes tailles. Le support day-0 a été assuré simultanément par llama.cpp, Ollama, vLLM, LM Studio et Transformers, ce qui signifie que les développeurs ont pu télécharger et exécuter Gemma 4 dès le jour du lancement sur GPU consumer ou Mac Apple Silicon. Des benchmarks concrets rapportent 300 tokens par seconde en temps réel sur un M2 Ultra avec la variante 26B-A4B en quantification Q8_0. La licence Apache 2.0 autorise l'usage commercial sans restriction, ce qui lève un frein important à l'adoption en entreprise. Ce lancement intervient dans un contexte de fragilisation du leadership américain en matière de modèles ouverts : l'Allen Institute for AI traverse des turbulences internes, et le projet de modèle open-source d'OpenAI reste dans un statut incertain. Google DeepMind comble ainsi partiellement ce vide, capitalisant sur la traction de Gemma 3 qui a enregistré 400 millions de téléchargements et généré plus de 100 000 variantes communautaires. Les capacités audio et vision des modèles edge alimentent également des spéculations sur un rôle possible de Gemma 4 dans le cadre du partenariat Apple-Google pour le futur Siri sur appareil. Les prochaines semaines diront si cet avantage technique se traduit en adoption massive, notamment face à des concurrents comme Mistral ou les modèles Qwen d'Alibaba.

💬 Le 31B qui tient tête à des architectures de 700 milliards de paramètres, bon, sur les benchmarks ça impressionne vraiment. Mais ce qui change tout, c'est la licence Apache 2.0 sans condition commerciale, parce que c'était ça le vrai frein à l'adoption en entreprise. 300 tokens par seconde sur M2 Ultra avec la variante MoE, t'as plus besoin de louer du GPU pour faire tourner quelque chose de sérieux.