Aller au contenu principal
OutilsMarkTechPostà l'instant

Google DeepMind présente un pointeur de souris IA propulsé par Gemini, capable de capturer le contexte visuel et sémantique autour du curseur

Résumé IASource uniqueImpact UE
Source originale ↗·

Google DeepMind a présenté cette semaine un pointeur de souris dopé à l'intelligence artificielle, propulsé par Gemini, capable de comprendre non seulement où l'utilisateur pointe, mais aussi ce qu'il pointe et pourquoi c'est pertinent. Le système est encore expérimental, mais deux démonstrations sont d'ores et déjà accessibles dans Google AI Studio : l'une pour éditer une image, l'autre pour identifier des lieux sur une carte, toutes deux utilisables en pointant et en parlant à voix haute. Une intégration plus profonde, baptisée Magic Pointer, est en cours de déploiement dans Chrome, et une autre est prévue pour Googlebook, la nouvelle gamme d'ordinateurs portables Gemini de Google annoncée simultanément cette semaine.

Le problème que cherche à résoudre DeepMind est connu de quiconque a déjà essayé d'utiliser un assistant IA en pleine session de travail : les outils actuels vivent dans leur propre fenêtre, obligeant l'utilisateur à interrompre son flux pour décrire manuellement ce qu'il regardait, coller une question dans un chatbot, puis importer la réponse dans son document d'origine. Le pointeur IA brise ce cycle en transmettant au modèle un contexte visuel et sémantique en temps réel, dérivé de la position du curseur et de l'état de survol, sans que l'utilisateur ait à formuler ce contexte en texte. Concrètement, cela permet de pointer un tableau de statistiques et demander une version en camembert, de survoler une recette pour en doubler les ingrédients, ou de pointer un PDF pour en obtenir un résumé en points à coller directement dans un email.

Cette initiative s'inscrit dans une tendance plus large chez les grandes plateformes technologiques : rendre l'IA ambiante plutôt que cloisonnée dans une fenêtre de chat. Depuis l'émergence des grands modèles de langage grand public, la friction principale reste l'interface : les modèles sont puissants, mais les utilisateurs doivent sérialiser manuellement leur environnement en texte pour les actionner. DeepMind formalise quatre principes de conception pour y remédier, dont "maintenir le flux" (l'IA suit l'utilisateur là où il travaille, sans détour) et "montrer et dire" (le pointeur capte le contexte visuel, remplaçant les prompts détaillés par un simple geste). Microsoft avance en parallèle avec Copilot intégré à Windows, tandis qu'Apple mise sur des capacités similaires avec Apple Intelligence. Avec l'annonce simultanée des laptops Googlebook et le déploiement dans Chrome, Google positionne Gemini comme une couche système universelle, ce qui pourrait redéfinir profondément la manière dont des centaines de millions d'utilisateurs interagissent avec leur ordinateur au quotidien.

Impact France/UE

L'intégration d'une IA ambiante dans les navigateurs et systèmes d'exploitation pourrait modifier les pratiques numériques de millions d'utilisateurs européens, soulevant des questions sur la dépendance aux grandes plateformes et la conformité au RGPD.

Dans nos dossiers

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

Google teste l'agent IA Remy pour Gemini, avec un accent mis sur le contrôle utilisateur
1AI News 

Google teste l'agent IA Remy pour Gemini, avec un accent mis sur le contrôle utilisateur

Google teste en interne un nouvel agent IA baptisé Remy, conçu pour s'intégrer à l'application Gemini et agir de manière autonome au nom des utilisateurs dans leurs tâches professionnelles et quotidiennes. L'information provient de Business Insider, qui affirme avoir consulté un document interne et échangé avec deux personnes au fait du projet. Selon ce document, Remy se présente comme un "agent personnel disponible 24h/24", capable de gérer des tâches complexes, d'apprendre les préférences de l'utilisateur et de se connecter aux services Google comme Gmail, Calendar, Docs, Drive, ainsi qu'à des plateformes tierces telles que GitHub, Spotify ou WhatsApp. Pour l'heure, le projet est en phase de "dog-fooding", c'est-à-dire testé exclusivement par des employés de Google. Aucune date de lancement public n'a été communiquée, et Google a refusé de commenter. Remy représente une évolution significative dans la stratégie de Google autour de Gemini, qui cherche à dépasser le simple chatbot pour devenir un assistant capable d'agir, et non plus seulement de répondre. Si Google propose déjà un "Agent Mode" dans Gemini, Remy serait selon les sources une version nettement plus avancée, intégrant un apprentissage des préférences utilisateur et une gestion de tâches multi-étapes. Cette orientation vers les agents autonomes soulève toutefois des questions de contrôle et de vie privée que Google semble anticiper : le Privacy Hub de Gemini permet déjà aux utilisateurs de consulter et supprimer l'historique d'activité, de gérer les données de personnalisation et de révoquer l'accès aux applications connectées. Les chercheurs de Google Research ont par ailleurs formalisé des principes pour les agents IA, insistant sur des pouvoirs strictement limités, des actions observables et l'application du principe de moindre privilège. La course aux agents autonomes s'est accélérée ces derniers mois dans l'ensemble du secteur. OpenAI a attiré l'attention début 2025 avec OpenClaw, un agent capable de répondre à des messages et de mener des recherches de façon autonome, dont le créateur a été recruté par Sam Altman en février. Le PDG de Google DeepMind, Demis Hassabis, a lui-même évoqué l'ambition de construire un "assistant numérique" de référence, sans préciser le calendrier. Remy s'inscrit dans cette dynamique où les grandes plateformes IA cherchent à passer du stade de l'assistant conversationnel à celui d'un véritable mandataire numérique. Les détails techniques restent flous: l'architecture de Remy, le modèle sous-jacent et le degré d'autonomie réel, notamment la question de savoir s'il peut agir sans confirmation explicite de l'utilisateur, n'ont pas été divulgués.

UELe déploiement futur de Remy serait soumis à l'AI Act européen, notamment aux exigences de transparence et de contrôle utilisateur imposées aux agents autonomes, que Google semble anticiper via son Privacy Hub.

OutilsOutil
1 source
Gemini Enterprise : Google lance sa plateforme unifiée pour orchestrer des agents IA
2Le Big Data 

Gemini Enterprise : Google lance sa plateforme unifiée pour orchestrer des agents IA

Google a présenté le 22 avril 2026, lors de Google Cloud Next 2026, Gemini Enterprise : une plateforme unifiée conçue pour orchestrer des flottes d'agents IA à l'échelle de l'entreprise. La nouveauté fusionne l'application Gemini Enterprise pour les utilisateurs finaux et la nouvelle Gemini Enterprise Agent Platform pour les développeurs, absorbant au passage Vertex AI qui disparaît en tant que plateforme indépendante. Plus de 200 modèles sont accessibles via Model Garden, dont les dernières générations Gemini mais aussi des modèles tiers d'Anthropic et autres. La marketplace intégrée permet de connecter des agents issus de partenaires comme Oracle, ServiceNow, Adobe, Salesforce ou Workday. Du côté technique, la plateforme introduit Agent Studio pour le développement low-code, un SDK basé sur des graphes pour les systèmes multi-agents, et Agent Runtime pour des agents capables de fonctionner en continu pendant des heures, voire des jours. Des outils d'optimisation complètent l'ensemble : Agent Simulation, Evaluation et Observability. Pour les directions informatiques, la gouvernance est au coeur du dispositif. Chaque agent se voit attribuer une identité cryptographique via Agent Identity, tandis qu'un registre central valide les outils et agents autorisés, et qu'Agent Gateway applique les politiques de sécurité à l'échelle de l'organisation. La couche de protection intègre Model Armor pour contrer les injections malveillantes et les fuites de données, appuyée par Security Command Center pour la détection des vulnérabilités. Du côté des équipes métier, Agent Designer permet de créer et déployer des agents sans écrire de code, depuis une interface unique avec boîte de réception centralisée, espaces projets à mémoire partagée et outil collaboratif Canvas pour produire des documents exportables vers Microsoft Office. Un agent Data Insights natif analyse données structurées et non structurées pour générer visualisations et rapports, tandis que Deep Research synthétise sources web et données internes. Ce lancement s'inscrit dans une course intense entre les grands acteurs du cloud pour capter les budgets IA des entreprises. Microsoft, avec Copilot Studio et Azure AI Foundry, Amazon avec Bedrock Agents, et Salesforce avec Agentforce occupent le même terrain. Google répond en cassant la fragmentation de son offre précédente : Vertex AI, Duet AI, Gemini for Workspace coexistaient sans cohérence claire pour les acheteurs. En absorbant tout dans une plateforme unique, Google vise à simplifier les cycles de vente et à verrouiller les grandes entreprises dans son écosystème. La compatibilité revendiquée avec Microsoft 365 et Google Workspace trahit la volonté de ne pas imposer une migration brutale, mais de s'intégrer aux environnements existants. L'enjeu des prochains mois sera la disponibilité réelle de ces fonctionnalités et leur tenue à l'échelle, deux points sur lesquels les annonces de Cloud Next ont historically précédé des déploiements progressifs.

UELes entreprises européennes utilisant Google Cloud devront évaluer la migration vers cette plateforme unifiée, dont les mécanismes de gouvernance (identité cryptographique des agents, registre central, audit de sécurité) pourraient faciliter la mise en conformité avec l'AI Act.

OutilsOutil
1 source
Google Meet va aussi prendre des notes IA pour les réunions en présentiel
3The Verge 

Google Meet va aussi prendre des notes IA pour les réunions en présentiel

Google étend les capacités de son assistant IA Gemini aux réunions en présentiel : la fonction de prise de notes automatique, jusqu'ici réservée aux appels Google Meet, peut désormais générer des résumés et des transcriptions lors de réunions physiques, mais aussi lors de visioconférences Zoom et Microsoft Teams. Cette évolution, révélée par 9to5Google, marque une sortie de la phase alpha où la fonctionnalité était uniquement disponible sur Android pour un groupe restreint d'utilisateurs. Elle est désormais accessible plus largement, sans contrainte de salle de réunion ni de rendez-vous planifié à l'avance. L'impact est significatif pour les professionnels qui alternent entre réunions virtuelles et physiques : Gemini devient un assistant de réunion universel, indépendant du support utilisé. La possibilité de capturer automatiquement les échanges lors d'une discussion informelle dans un couloir ou d'une réunion de dernière minute représente un gain de temps concret. Google précise également qu'un participant distant peut rejoindre une réunion en présentiel en basculant vers un appel vidéo classique. Cette annonce s'inscrit dans une course entre les grands acteurs technologiques pour intégrer l'IA dans les flux de travail quotidiens. Microsoft propose des fonctions similaires via Copilot dans Teams, et plusieurs startups comme Otter.ai ou Fireflies.ai ont bâti leur modèle entier sur la transcription de réunions. En élargissant Gemini au-delà de son propre écosystème, Google adopte une stratégie d'ubiquité visant à fidéliser les utilisateurs professionnels quel que soit leur environnement de collaboration.

UELes professionnels européens utilisant Google Workspace peuvent désormais bénéficier de la prise de notes automatique Gemini dans leurs réunions physiques et sur Zoom ou Teams, sans dépendre d'un outil tiers.

OutilsOutil
1 source
Gemini débarque partout sur Android : comment Google va vous aider à automatiser votre quotidien
401net 

Gemini débarque partout sur Android : comment Google va vous aider à automatiser votre quotidien

Google a annoncé lors de son Google I/O 2025 le déploiement d'une série de nouvelles fonctionnalités de son assistant Gemini sur Android, visant à automatiser des tâches concrètes du quotidien directement depuis les appareils mobiles. Parmi les capacités annoncées : réserver des vacances, prendre un rendez-vous via Chrome, ou encore remplir des formulaires en ligne sans intervention manuelle. Une fonctionnalité supplémentaire permettra de transformer des notes fragmentées ou des idées brutes en textes structurés et cohérents. Ces ajouts représentent un glissement majeur vers l'IA dite "agentique", capable d'exécuter des actions multi-étapes au nom de l'utilisateur plutôt que de simplement répondre à des questions. Pour les utilisateurs Android, cela signifie une réduction significative du temps passé sur des tâches répétitives et administratives. Pour Google, c'est une façon de différencier Android face à Apple Intelligence et de justifier l'intégration profonde de Gemini dans l'écosystème mobile. Cette annonce s'inscrit dans une course accélérée entre les grands acteurs tech pour imposer leurs assistants IA comme couche centrale d'interaction avec les appareils. Apple déploie progressivement Apple Intelligence sur iOS, Microsoft intègre Copilot dans Windows, et Google tente de consolider Gemini comme système nerveux de tout l'écosystème Android. Le déploiement de ces fonctionnalités devrait s'étaler sur les prochains mois, d'abord pour les utilisateurs anglophones avant une extension internationale progressive.

UELe déploiement des fonctionnalités agentiques de Gemini sur Android débutera par les anglophones, repoussant l'accès direct pour les utilisateurs français et européens à une date non précisée.

💬 Réserver un hôtel, remplir un formulaire, prendre un rdv, tout depuis Android sans lever le petit doigt : c'est pas du concept cette fois, ça débarque en prod. Le vrai enjeu c'est si les utilisateurs vont faire confiance à Gemini pour agir à leur place, pas juste répondre. Pour nous en Europe, faudra probablement attendre encore, comme toujours.

OutilsOutil
1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour