Google unifie texte, image, vidéo et audio dans un espace vectoriel unique avec Gemini Embedding 2

Google IA présente Gemini Embedding 2 : un modèle de plongement multimodal pour convertir texte, images, vidéos, audio et documents en représentations vectorielles

Google a lancé Gemini Embedding 2, un modèle d'intégration multimodal de deuxième génération capable de convertir texte, images, vidéos, audio et PDF en un espace vectoriel unifié, sans pipelines séparés. Il supporte des entrées combinées (jusqu'à 8 192 tokens, 6 images, 120 secondes de vidéo, 80 secondes d'audio) et utilise le Matryoshka Representation Learning (MRL) pour compresser intelligemment les vecteurs en 768, 1 536 ou 3 072 dimensions selon les besoins de performance. Cette architecture permet aux systèmes RAG de faire une première recherche rapide sur des vecteurs courts, puis un reclassement précis sur les vecteurs complets.

Recherche vidéo incrémentale personnalisée : hybridation d'embeddings texte et ID

Recherche personnalisée pour la recherche vidéo instantanée sur Apple TV, où chaque frappe au clavier doit renvoyer des résultats pertinents alors que l'intention de l'utilisateur reste floue, parfois réduite à un préfixe d'une à trois lettres. Pour répondre à ce défi, une équipe de recherche a conçu un système combinant deux types de signaux au moment du classement des résultats. Le premier, baptisé TextEmb, est un encodeur de texte multilingue affiné par apprentissage contrastif à partir de triplets de coengagement, c'est-à-dire des contenus consultés ensemble par les utilisateurs. Le second, IdEmb, est un modèle d'embeddings collaboratifs fondé sur les identifiants des contenus, entraîné à partir d'exemples positifs tirés directement des interactions des utilisateurs. Ces deux espaces vectoriels sont ensuite combinés pour construire, en temps réel, une représentation personnalisée de chaque utilisateur. Cette approche hybride vise à résoudre un problème concret pour tout service de streaming vidéo: proposer des résultats pertinents dès les premières lettres tapées, sans attendre une requête complète. En croisant la proximité sémantique du texte avec les habitudes de visionnage individuelles, le système peut anticiper une intention encore ambiguë et hiérarchiser les contenus qui correspondent le mieux au profil de chaque utilisateur, plutôt que de se limiter à une correspondance textuelle générique. Cette recherche s'inscrit dans une tendance plus large de l'industrie du streaming, où la personnalisation de la recherche devient un axe de différenciation aussi stratégique que celle des recommandations. Les moteurs de recherche incrémentale, courants sur les téléviseurs connectés où la saisie au clavier ou à la télécommande est lente et imprécise, doivent compenser ce handicap par une meilleure compréhension du contexte utilisateur. En combinant signaux sémantiques et collaboratifs plutôt que de miser sur un seul type de modèle, cette méthode ouvre la voie à des systèmes de recherche vidéo plus réactifs, potentiellement applicables au-delà d'Apple TV à d'autres plateformes de streaming confrontées aux mêmes contraintes d'interface.

Les agents IA ont besoin d'un terminal, pas seulement d'une base vectorielle

Des chercheurs de plusieurs universités ont publié une étude proposant une nouvelle approche pour améliorer les capacités des agents d'intelligence artificielle : la "Direct Corpus Interaction" (DCI). Plutôt que de passer par une base de données vectorielle classique, cette technique permet aux agents d'interagir directement avec les données brutes via des outils en ligne de commande standard comme grep, find, cat ou des scripts Python légers. L'idée centrale est simple : donner à l'agent un accès terminal plutôt qu'un index sémantique figé, lui permettant de chercher des chaînes exactes, des codes d'erreur, des numéros de version ou des chemins de fichiers que les systèmes RAG traditionnels peinent à retrouver fidèlement. L'impact concret est significatif pour les environnements d'entreprise où les données évoluent en permanence. Les index vectoriels représentent toujours un instantané d'un moment passé, coûteux à reconstruire et jamais tout à fait à jour. En présence de rapports financiers quotidiens, de logs en direct, de commits de code ou de tickets de support, un agent DCI raisonne sur l'état actuel du système plutôt que sur l'index d'hier. Les chercheurs proposent deux variantes : DCI-Agent-Lite, conçu comme une solution légère, et une version plus complète pour des tâches plus complexes. L'agent peut enchaîner des commandes shell en pipeline pour combiner plusieurs indices faibles, vérifier une hypothèse immédiatement en inspectant les lignes entourant un résultat, ou filtrer des fichiers selon plusieurs critères simultanément, ce qu'un retriever sémantique ne peut pas faire en une seule passe. La recherche met le doigt sur une limite structurelle des systèmes RAG : la compression de l'accès à l'information en une seule étape de similarity search crée un goulot d'étranglement. Si une preuve critique est éliminée lors de ce filtrage initial, aucune capacité de raisonnement en aval, aussi sophistiquée soit-elle, ne peut la récupérer. C'est particulièrement problématique dans les workflows multi-étapes où l'agent doit réviser ses hypothèses dynamiquement après avoir observé des résultats partiels. DCI ne remplace pas nécessairement les embeddings pour le rappel sémantique large, mais comble un angle mort précis : les détails de longue traîne, les contraintes lexicales exactes, les données à forte volatilité. À mesure que les agents IA s'intègrent dans des environnements de production réels, cette distinction entre "ce que le modèle sait raisonner" et "ce que le système d'accès lui laisse voir" devient un enjeu central pour les équipes d'ingénierie.

💬 On passe des mois à tuner des embeddings pour du RAG, et la solution c'est... donner un terminal à l'agent. Bon, sur le papier c'est un peu gros dit comme ça, mais le problème pointé est réel : quand tes logs changent toutes les heures, ton index vectoriel est déjà périmé au moment où tu l'interroges. C'est le genre de truc que les équipes infra savent depuis longtemps, content de voir la recherche en faire une approche formelle.

Le calibrage de l'attention creuse accélère la génération de texte en vidéo

Une équipe de recherche propose une nouvelle méthode pour accélérer la génération de vidéos par intelligence artificielle, baptisée attention parcimonieuse calibrée (calibrated sparse attention). Les modèles de diffusion actuels produisent des vidéos de haute qualité à partir de texte, mais reposent sur d'immenses architectures de type transformeur dont la vitesse est freinée par le calcul de l'attention spatio-temporelle, l'étape qui relie chaque portion de l'image dans le temps et l'espace. Les chercheurs ont observé qu'une part importante des connexions entre tokens, les unités élémentaires traitées par le modèle, produit systématiquement des scores d'attention négligeables, quel que soit le contenu de la vidéo générée. Mieux, ces schémas de connexions faibles se répètent souvent d'une requête à l'autre, y compris pour les liens entre blocs de tokens voisins dans l'image. Cette découverte ouvre la voie à une accélération significative sans perte de qualité perceptible: puisque ces connexions apportent une contribution quasi nulle au résultat final, leur calcul peut simplement être ignoré. Pour l'industrie de la génération vidéo par IA, en pleine expansion avec des outils comme Sora, Runway ou Kling, la latence et le coût de calcul restent des freins majeurs à l'adoption à grande échelle, que ce soit pour la production créative professionnelle ou les usages grand public. Réduire ces temps de génération sans sacrifier le rendu visuel pourrait rendre ces outils plus accessibles et moins gourmands en ressources GPU. Cette approche s'inscrit dans une tendance plus large de recherche sur l'optimisation des grands modèles de diffusion vidéo, où l'attention parcimonieuse, déjà explorée pour les grands modèles de langage, est adaptée aux spécificités spatio-temporelles de la vidéo. En identifiant et exploitant la redondance structurelle de l'attention plutôt qu'en réduisant la taille du modèle, les auteurs visent un compromis efficace entre vitesse et fidélité, une piste que d'autres laboratoires devraient probablement explorer à mesure que la demande pour la génération vidéo en temps réel augmente.