Aller au contenu principal
LLMsArs Technica AI3h· 1 min de lecture

Google met à jour Android Bench avec de nouveaux LLM, mais Gemini reste à la traîne

Source originale ↗·

Google a mis à jour Android Bench, son benchmark dédié à l'évaluation des grands modèles de langage sur des tâches de développement Android, lancé en mars. La nouvelle version intègre huit modèles supplémentaires parmi les plus récents du marché : Claude Fable 5, Claude Sonnet 5 et Claude Opus 4.8 d'Anthropic, GLM 5.2, Kimi K2.7 Code, MiniMax M3, ainsi que Qwen 3.7 Plus et Qwen 3.7 Max. Le classement repose sur une suite de 100 tâches de développement Android et adopte désormais un nouveau cadre de test présenté comme plus simple à utiliser. Google a également ajouté de nouvelles métriques, notamment le coût et l'efficacité des modèles, en plus d'intégrer des modèles à poids ouverts, qui n'étaient pas couverts jusqu'ici.

Ce type de benchmark répond à un besoin concret pour les développeurs Android : la génération de code par IA s'est imposée comme l'un des usages les plus populaires des LLM, mais tous les modèles ne se valent pas selon les tâches. Distinguer les suggestions réellement utiles des résultats approximatifs suppose de savoir quel outil choisir pour quel contexte. En publiant des résultats comparatifs sur le coût, l'efficacité et la qualité du code produit, Google donne aux équipes de développement des repères concrets pour arbitrer entre les différents modèles disponibles, plutôt que de se fier uniquement à la réputation générale d'un LLM.

Cette mise à jour s'inscrit dans une compétition de plus en plus dense entre fournisseurs de modèles, où Anthropic, la Chine avec GLM, Kimi et Qwen, et d'autres acteurs multiplient les versions spécialisées pour le code. Google invite désormais les développeurs à exécuter eux-mêmes ces tests sur leurs propres projets et à transmettre leurs retours, dans l'idée de faire évoluer Android Bench de façon continue. Reste à voir comment les modèles propres à Google, notamment Gemini, se positionneront face à cette concurrence croissante dans les prochaines itérations du benchmark.

Cet article vous a été utile ?

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

Google Research : Gemini-SQL2 domine les benchmarks text-to-SQL avec une large avance
1The Decoder 

Google Research : Gemini-SQL2 domine les benchmarks text-to-SQL avec une large avance

Google Research a publié Gemini-SQL2, un système capable de convertir du langage naturel en requêtes SQL exécutables, construit sur le modèle Gemini 3.1 Pro. Sur le benchmark BIRD, référence industrielle pour évaluer la conversion texte-vers-SQL, Gemini-SQL2 atteint un taux de précision de 80,04 %, distançant significativement les solutions concurrentes d'OpenAI et d'Anthropic. Cette performance place Google en tête d'un domaine à fort enjeu commercial : la capacité à interroger des bases de données en langage courant, sans écrire une seule ligne de code, ouvre l'accès à la donnée à des profils non techniques au sein des entreprises. Pour Google, l'intégration de cette technologie dans ses services de données comme BigQuery ou Looker pourrait accélérer l'adoption par des équipes analytiques qui dépendent aujourd'hui d'ingénieurs pour formuler leurs requêtes. Le benchmark BIRD, qui évalue la robustesse des modèles sur des bases de données réelles et complexes, est devenu le baromètre de référence depuis 2023 pour comparer les approches text-to-SQL. La course à ce type de capacité s'inscrit dans une compétition plus large entre les grands laboratoires pour intégrer l'intelligence artificielle directement dans les flux de travail d'entreprise. Avec Gemini-SQL2, Google consolide sa position sur le segment des outils de productivité données, un marché où Microsoft, via Copilot for Azure, et les startups spécialisées comme Text2SQL.ai exercent également une pression croissante.

UELes entreprises européennes pourraient simplifier l'accès à leurs données analytiques en permettant à des profils non techniques d'interroger leurs bases sans écrire de SQL.

💬 80% sur BIRD sur des vraies bases de données complexes, c'est pas du benchmarking en chambre. Ce qui est intéressant c'est moins le score que l'intégration qui vient (BigQuery, Looker) : là, les équipes métier qui passaient leur vie à attendre un data engineer vont pouvoir requêter elles-mêmes. Reste à voir si ça tient quand les schémas sont vraiment sales, parce qu'en prod, c'est rarement aussi propre que dans les benchmarks.

LLMsActu
1 source
Google I/O : nouveaux modèles, agent cloud permanent et refonte de l'application Gemini
2The Decoder 

Google I/O : nouveaux modèles, agent cloud permanent et refonte de l'application Gemini

Lors de sa conférence développeurs Google I/O, tenue cette semaine, Google a dévoilé plusieurs annonces majeures dans le domaine de l'intelligence artificielle. Au programme : un nouveau modèle de langage baptisé Gemini 3.5 Flash, conçu pour allier rapidité et efficacité, un modèle multimodal nommé Gemini Omni capable de traiter simultanément texte, images, audio et vidéo, ainsi qu'un agent personnel cloud appelé Gemini Spark, pensé pour fonctionner en continu, vingt-quatre heures sur vingt-quatre. L'application Gemini bénéficie par ailleurs d'une refonte visuelle et fonctionnelle complète. L'introduction de Gemini Spark marque un tournant dans la vision de Google pour l'IA personnelle. Contrairement aux assistants classiques qui se contentent de répondre à des requêtes ponctuelles, un agent cloud permanent peut exécuter des tâches de façon autonome, anticiper des besoins, surveiller des données ou déclencher des actions sans intervention humaine. Pour les développeurs comme pour les utilisateurs grand public, cela ouvre la voie à une nouvelle catégorie d'assistants proactifs, toujours disponibles et potentiellement connectés à l'ensemble des services Google. Ces annonces s'inscrivent dans une course effrénée à l'IA agentique que se livrent Google, OpenAI et Microsoft depuis début 2025. Google cherche à reprendre l'initiative après avoir été perçu comme en retrait face aux avancées de GPT-4o et des agents d'OpenAI. Avec cette vague de lancements, l'entreprise signale sa volonté de positionner Gemini non plus comme un simple chatbot, mais comme une infrastructure d'IA omniprésente, ancrée dans le cloud et intégrée à l'ensemble de son écosystème.

UELes nouveaux modèles Gemini et l'agent cloud permanent seront accessibles aux développeurs et entreprises européens, accélérant l'adoption de l'IA agentique dans l'écosystème Google en Europe.

LLMsActu
1 source
Le nouveau modèle Gemma 4 12B de Google est conçu pour tourner sur n'importe quel laptop avec 16 Go de RAM
3Ars Technica AI 

Le nouveau modèle Gemma 4 12B de Google est conçu pour tourner sur n'importe quel laptop avec 16 Go de RAM

Google a annoncé le lancement de Gemma 4 12B, un nouveau modèle de langage open source conçu pour fonctionner sur des ordinateurs portables grand public disposant de 16 Go de RAM ou de VRAM. Ce modèle vient combler un vide dans la gamme Gemma 4 lancée en avril 2026, qui comprenait deux modèles optimisés pour mobile (E2B et E4B) et deux modèles pour usages intensifs (26B Mixture of Experts et 31B Dense). Avec ses 12 milliards de paramètres, Gemma 4 12B se positionne entre ces deux extrêmes et adopte la licence Apache 2.0 ouverte introduite lors du lancement de la famille. Ce modèle représente une avancée concrète pour quiconque souhaite faire tourner un LLM performant en local sans investir dans du matériel spécialisé. Son empreinte mémoire est environ deux fois inférieure à celle du Gemma 4 26B MoE, et Google affirme que ses performances sur les benchmarks restent proches de ce modèle plus lourd. Pour les développeurs, chercheurs, ou professionnels qui veulent expérimenter avec l'IA générative en dehors du cloud, sans dépenser des dizaines de milliers d'euros en accélérateurs matériels dédiés, Gemma 4 12B ouvre une porte que les modèles précédents laissaient fermée. Le contexte est celui d'une course à la puissance de calcul qui a fait exploser les prix de la mémoire vive, une dynamique à laquelle Google contribue directement avec ses propres infrastructures cloud. Mais en parallèle, plusieurs grands acteurs de l'IA, dont Meta avec sa famille Llama, misent aussi sur des modèles locaux légers pour élargir l'adoption. Google se positionne dans cette tendance avec des modèles Gemma pensés pour tourner sans connexion et sans coût d'inférence. La prochaine étape sera d'observer comment la communauté open source s'empare de Gemma 4 12B, notamment via des plateformes comme Hugging Face ou Ollama, pour affiner, tester et intégrer ce modèle dans des applications concrètes.

UELes développeurs et chercheurs européens peuvent désormais faire tourner un LLM performant en local sur un ordinateur grand public de 16 Go de RAM, sans frais cloud ni matériel spécialisé.

LLMsActu
1 source
Gemini 3.1 Flash Live est le modèle vocal IA le plus naturel de Google à ce jour
4The Decoder 

Gemini 3.1 Flash Live est le modèle vocal IA le plus naturel de Google à ce jour

Google a dévoilé Gemini 3.1 Flash Live, son nouveau modèle vocal conçu pour des conversations en temps réel plus naturelles et plus fluides. Annoncé en mars 2026, ce modèle s'inscrit dans la gamme Flash, orientée vers la rapidité et l'efficacité. Les développeurs disposent d'un curseur permettant d'arbitrer entre qualité vocale et vitesse de réponse selon les besoins de leur application. La tarification reste alignée sur celle de Gemini 2.5, sans surcoût pour cette nouvelle génération. Ce lancement représente une avancée notable dans la course à la voix conversationnelle naturelle. Pour les développeurs d'assistants vocaux, d'applications de service client ou d'interfaces mains libres, disposer d'un modèle à la fois rapide et naturel à coût constant constitue un argument concret. La fluidité perçue de l'IA vocale est aujourd'hui un facteur décisif dans l'adoption par le grand public. Google intensifie ainsi la compétition face à OpenAI et ses modèles vocaux en temps réel, intégrés à ChatGPT, ainsi qu'à d'autres acteurs comme ElevenLabs. La stratégie Flash — modèles légers, rapides, peu coûteux — s'impose comme une approche clé pour démocratiser l'IA dans des usages à fort volume. Les prochaines versions pourraient continuer à affiner ce compromis vitesse/qualité, un équilibre qui deviendra central dans les interfaces conversationnelles de demain.

LLMsActu
1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, l'essentiel de l'IA · désinscription en un clic