RechercheHuggingFace Blog35sem

Bienvenue à Gemma d'EmbeddingGoogle, le nouveau modèle d'embedding efficace de Google

Résumé IASource uniqueImpact UE

Bien sûr, voici une traduction et un résumé en français :

Titre : Bienvenue à EmbeddingGemma, le nouveau modèle d'embedding efficace de Google

Google a dévoilé EmbeddingGemma, un nouveau modèle d'embedding conçu pour être plus efficace et économe en ressources. Ce modèle, conçu pour les applications de traitement du langage naturel (NLP), offre des performances compétitives tout en nécessitant moins de mémoire et de temps de calcul par rapport aux modèles précédents comme BERT ou RoBERTa. EmbeddingGemma est mis au point pour réduire la consommation d'énergie et les coûts de déploiement tout en maintenant ou en améliorant la précision dans diverses tâches de compréhension du langage.

Impact France/UE

Google introduit EmbeddingGemma, un nouveau modèle d'embedding efficace, impactant les entreprises françaises et européennes utilisant le traitement du langage naturel, en réduisant la consommation d'énergie et les coûts tout en maintenant ou en améliorant la précision, en conformité potentielle avec le AI Act.

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

1Ars Technica AI

Google : TurboQuant réduit la mémoire des modèles d'IA sans perte de qualité

Google Research a dévoilé TurboQuant, un nouvel algorithme de compression conçu pour réduire l'empreinte mémoire des grands modèles de langage (LLM) tout en améliorant leur vitesse. Selon les premiers résultats publiés par Google, TurboQuant permet une réduction de la mémoire jusqu'à 6 fois et un gain de performance jusqu'à 8 fois dans certains tests, sans dégradation mesurable de la qualité des sorties. TurboQuant cible spécifiquement le cache clé-valeur, une sorte de "mémo numérique" que les LLM utilisent pour stocker des informations déjà calculées et éviter de les retraiter. Ce cache stocke des vecteurs haute dimension — des représentations mathématiques du sens des mots et des phrases — qui peuvent contenir des centaines, voire des milliers d'embeddings. Plus ces vecteurs sont complexes, plus ils occupent de mémoire, créant un goulot d'étranglement qui ralentit les modèles et alourdit leur déploiement. Jusqu'ici, les techniques de quantification classiques permettaient bien de compresser ces modèles en abaissant leur précision, mais au prix d'une baisse notable de la qualité des réponses. TurboQuant prétend résoudre ce compromis en maintenant la précision malgré la compression. La mémoire est l'une des ressources les plus contraignantes dans le déploiement des IA génératives, tant en centre de données que sur les appareils grand public. Une compression efficace sans perte de qualité représente un enjeu majeur pour rendre ces modèles plus accessibles et moins coûteux à faire tourner.

RecherchePaper

1 source

2The Decoder

Google unifie texte, image, vidéo et audio dans un espace vectoriel unique avec Gemini Embedding 2

Google lance Gemini Embedding 2, son premier modèle d'embedding nativement multimodal, capable de représenter texte, images, vidéos, audio et documents dans un espace vectoriel unifié. Cette approche élimine le besoin de modèles séparés pour chaque modalité dans les pipelines IA. Une avancée significative pour simplifier les architectures de recherche et de récupération multimodale.

RechercheOutil

1 source

3InfoQ AI

Les chercheurs de Google proposent une méthode d'enseignement bayésien pour les grands modèles de langage

Des chercheurs de Google Research ont proposé une méthode d'entraînement permettant aux grands modèles de langage d'approximer le raisonnement bayésien, en apprenant à partir des prédictions d'un système bayésien optimal. L'objectif est d'améliorer la façon dont les modèles mettent à jour leurs croyances au fil des interactions multi-étapes, à mesure qu'ils reçoivent de nouvelles informations.

RecherchePaper

1 source

4Apple Machine Learning

Apprentissage de représentations motrices à long terme pour la génération efficace de cinématiques

Des chercheurs ont développé une méthode permettant de prédire et générer des mouvements réalistes à long terme de façon bien plus efficace que les approches existantes. Leur système repose sur un espace de représentation de mouvement appris à partir de vastes collections de trajectoires extraites par des modèles de suivi d'objets. Plutôt que de synthétiser des vidéos complètes pour modéliser la dynamique d'une scène, le modèle opère directement sur ces embeddings compacts, ce qui réduit drastiquement le coût de calcul. Les séquences de mouvement générées peuvent être guidées par des instructions en langage naturel ou par des indications spatiales directement pointées sur l'image. Cette avancée s'attaque à un goulot d'étranglement central en vision artificielle : explorer plusieurs futurs possibles à partir d'une même scène est actuellement prohibitif si chaque hypothèse nécessite la génération d'une vidéo pixel par pixel. En travaillant directement sur des représentations condensées du mouvement, la méthode permet de simuler des dynamiques longues et cohérentes avec une fraction des ressources habituellement requises. Les bénéfices sont concrets pour la robotique, l'animation et la génération de données synthétiques pour l'entraînement d'autres modèles d'IA. La prédiction de mouvement est un enjeu fondamental de l'intelligence visuelle : comprendre comment les objets et les personnes vont se déplacer est indispensable pour qu'une machine interprète le monde physique. Si les grands modèles vidéo ont progressé dans la compréhension des scènes dynamiques, leur usage pour simuler des futurs alternatifs demeure trop lourd pour être pratique. Cette approche par embeddings de mouvement appris à grande échelle pourrait s'imposer comme un composant clé des futurs modèles du monde, ces systèmes qui cherchent à simuler la réalité physique de manière efficace et pilotable.

RecherchePaper

1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour