Google DeepMind présente un pointeur de souris IA propulsé par Gemini, capable de capturer le contexte visuel et sémantique autour du curseur
Google DeepMind a présenté cette semaine un pointeur de souris dopé à l'intelligence artificielle, propulsé par Gemini, capable de comprendre non seulement où l'utilisateur pointe, mais aussi ce qu'il pointe et pourquoi c'est pertinent. Le système est encore expérimental, mais deux démonstrations sont d'ores et déjà accessibles dans Google AI Studio : l'une pour éditer une image, l'autre pour identifier des lieux sur une carte, toutes deux utilisables en pointant et en parlant à voix haute. Une intégration plus profonde, baptisée Magic Pointer, est en cours de déploiement dans Chrome, et une autre est prévue pour Googlebook, la nouvelle gamme d'ordinateurs portables Gemini de Google annoncée simultanément cette semaine.
Le problème que cherche à résoudre DeepMind est connu de quiconque a déjà essayé d'utiliser un assistant IA en pleine session de travail : les outils actuels vivent dans leur propre fenêtre, obligeant l'utilisateur à interrompre son flux pour décrire manuellement ce qu'il regardait, coller une question dans un chatbot, puis importer la réponse dans son document d'origine. Le pointeur IA brise ce cycle en transmettant au modèle un contexte visuel et sémantique en temps réel, dérivé de la position du curseur et de l'état de survol, sans que l'utilisateur ait à formuler ce contexte en texte. Concrètement, cela permet de pointer un tableau de statistiques et demander une version en camembert, de survoler une recette pour en doubler les ingrédients, ou de pointer un PDF pour en obtenir un résumé en points à coller directement dans un email.
Cette initiative s'inscrit dans une tendance plus large chez les grandes plateformes technologiques : rendre l'IA ambiante plutôt que cloisonnée dans une fenêtre de chat. Depuis l'émergence des grands modèles de langage grand public, la friction principale reste l'interface : les modèles sont puissants, mais les utilisateurs doivent sérialiser manuellement leur environnement en texte pour les actionner. DeepMind formalise quatre principes de conception pour y remédier, dont "maintenir le flux" (l'IA suit l'utilisateur là où il travaille, sans détour) et "montrer et dire" (le pointeur capte le contexte visuel, remplaçant les prompts détaillés par un simple geste). Microsoft avance en parallèle avec Copilot intégré à Windows, tandis qu'Apple mise sur des capacités similaires avec Apple Intelligence. Avec l'annonce simultanée des laptops Googlebook et le déploiement dans Chrome, Google positionne Gemini comme une couche système universelle, ce qui pourrait redéfinir profondément la manière dont des centaines de millions d'utilisateurs interagissent avec leur ordinateur au quotidien.
L'intégration d'une IA ambiante dans les navigateurs et systèmes d'exploitation pourrait modifier les pratiques numériques de millions d'utilisateurs européens, soulevant des questions sur la dépendance aux grandes plateformes et la conformité au RGPD.
Dans nos dossiers
Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.




