Aller au contenu principal
Oppo publie en open source X-OmniClaw, un agent IA Android qui utilise la caméra, l'écran et la voix sans quitter l'appareil
OutilsThe Decoder2j

Oppo publie en open source X-OmniClaw, un agent IA Android qui utilise la caméra, l'écran et la voix sans quitter l'appareil

Résumé IASource uniqueImpact UETake éditorial
Source originale ↗·

L'équipe Multi-X d'Oppo a publié X-OmniClaw, un agent IA open source conçu pour fonctionner directement sur les appareils Android. Contrairement aux approches concurrentes qui dupliquent l'interface du téléphone dans le cloud, X-OmniClaw exploite les capteurs physiques de l'appareil, caméra, écran et microphone, pour percevoir l'environnement et agir dans de vraies applications. Le traitement lourd de raisonnement est délégué au cloud, mais les données sensorielles restent locales. Le code source est disponible publiquement sur GitHub.

Ce positionnement "local-first" représente un avantage significatif en matière de confidentialité et de latence. L'agent peut interagir avec n'importe quelle application installée sans nécessiter d'intégration spécifique de la part des développeurs, ce qui élargit considérablement son champ d'action. Sa fonctionnalité de "clonage de parcours" est particulièrement notable : chaque séquence de tapotements qu'il exécute est enregistrée comme une compétence réutilisable, permettant ensuite d'atteindre des pages profondément imbriquées d'une application via un simple deeplink, sans rejouer toute la navigation.

X-OmniClaw s'inscrit dans une course technologique intense autour des agents mobiles autonomes. Apple, Google, Samsung et Microsoft investissent massivement dans ce domaine, mais la plupart de leurs solutions reposent sur des environnements cloud contrôlés. En choisissant l'open source et l'exécution locale, Oppo mise sur la communauté des développeurs pour enrichir rapidement les capacités de l'agent, tout en se différenciant sur la question de la vie privée, un argument commercial de plus en plus décisif sur le marché des smartphones haut de gamme.

Impact France/UE

L'approche 'local-first' de X-OmniClaw, qui conserve les données sensorielles sur l'appareil, s'aligne avec l'esprit du RGPD et pourrait servir de référence pour les développeurs européens travaillant sur des agents IA mobiles respectueux de la vie privée.

💬 Le point de vue du dev

Le clonage de parcours, c'est le truc que j'attendais sans le savoir : l'agent mémorise ses propres gestes et les rejoue comme des macros, sans toucher au code de l'app. Oppo mise tout sur l'open source pour exister face aux géants, et c'est probablement le seul angle qui peut fonctionner pour eux. Bon, maintenant il faut que la communauté suive.

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

Google lance une application pour utiliser son IA en local sur iPhone et Android
1Numerama 

Google lance une application pour utiliser son IA en local sur iPhone et Android

Google a lancé AI Edge Gallery, une nouvelle application disponible sur iPhone et Android permettant de faire tourner des modèles d'intelligence artificielle directement sur l'appareil, sans connexion réseau. L'application s'appuie sur les modèles Gemma 4, la dernière génération de modèles open source légers de Google, conçus pour fonctionner sur des terminaux mobiles aux ressources limitées. Elle propose plusieurs expériences interactives exploitant ces capacités d'inférence locale. Cette initiative marque une étape concrète dans la course à l'IA embarquée sur smartphone. Faire tourner un modèle de langage en local élimine la latence réseau, préserve la confidentialité des données et permet une utilisation hors connexion, trois avantages majeurs pour les utilisateurs mobiles. Pour Google, c'est aussi un moyen de tester l'adoption de Gemma 4 auprès du grand public et de démontrer que ses modèles open source sont compétitifs sur des appareils du quotidien, face à des concurrents comme Apple Intelligence ou les solutions embarquées de Meta. Google s'inscrit ici dans une tendance de fond : après avoir imposé Gemini comme assistant par défaut sur Android, l'entreprise cherche à étendre sa présence sur iOS tout en investissant dans l'IA on-device. Gemma 4, présenté récemment, est précisément optimisé pour ce type de déploiement. AI Edge Gallery fonctionne pour l'instant comme un terrain d'expérimentation ouvert, ce qui laisse supposer qu'une intégration plus profonde dans les produits Google grand public pourrait suivre selon les retours des utilisateurs.

UEL'inférence locale préserve les données sur l'appareil, un avantage concret pour les utilisateurs européens soumis au RGPD, sans transfert vers des serveurs tiers.

OutilsOutil
1 source
Hugging Face lance ml-intern, un agent IA open source qui automatise l'après-entraînement des LLM
2MarkTechPost 

Hugging Face lance ml-intern, un agent IA open source qui automatise l'après-entraînement des LLM

Hugging Face a publié ml-intern, un agent d'intelligence artificielle open-source conçu pour automatiser de bout en bout le post-entraînement des grands modèles de langage (LLM). Construit sur le framework smolagents de la société, l'outil est capable de réaliser de manière autonome des revues de littérature scientifique sur arXiv, de découvrir des jeux de données sur le Hub Hugging Face, d'exécuter des scripts d'entraînement et d'évaluer itérativement les résultats, le tout sans intervention humaine. Lors d'une démonstration officielle, l'agent a pris le modèle de base Qwen3-1.7B, qui obtenait initialement environ 10 % sur le benchmark GPQA de raisonnement scientifique, et l'a porté à 32 % en moins de 10 heures sur un seul GPU H100, franchissant la barre des 27,5 % en seulement trois heures. Ce résultat dépasse celui de Claude Code d'Anthropic, actuellement à 22,99 % sur cette même tâche, et se rapproche du record actuel de 33 % obtenu avec le modèle Gemma-3-4B, deux fois plus grand. L'impact de ml-intern est direct pour les équipes de recherche en machine learning : il automatise un cycle de travail qui mobilise habituellement plusieurs ingénieurs pendant plusieurs jours. L'agent gère la génération de données synthétiques lorsque les jeux de données existants sont insuffisants, comme dans un test médical où il a produit des exemples d'entraînement ciblant des cas limites en langage médical et en réponse d'urgence multilingue. Il implémente également des techniques avancées comme le Group Relative Policy Optimization (GRPO), une variante du RLHF moins gourmande en mémoire que le PPO standard, en surveillant les courbes de récompense et en lançant des ablations pour identifier les composants efficaces. L'ensemble du suivi expérimental repose sur Trackio, un outil natif au Hub présenté comme alternative open-source à Weights & Biases. Cette publication s'inscrit dans une tendance de fond : l'automatisation du travail des chercheurs en IA par des agents eux-mêmes entraînés à raisonner sur des pipelines ML. Le benchmark PostTrainBench, développé par l'université de Tübingen et le Max Planck Institute, a servi de cadre d'évaluation standardisé, contraignant les agents à post-entraîner un modèle de base en moins de 10 heures. En positionnant ml-intern comme supérieur à Claude Code sur cette tâche précise, Hugging Face signale une ambition claire : faire de son écosystème, du Hub aux outils d'entraînement, une plateforme autonome et intégrée capable de rivaliser avec les solutions propriétaires d'Anthropic ou de Google. La disponibilité en open-source de l'agent ouvre la voie à des adaptations communautaires rapides, et le benchmark PostTrainBench devrait s'imposer comme référence pour évaluer les prochaines générations de ces outils.

UEHugging Face, entreprise française cofondatrice de l'écosystème open-source IA européen, renforce son positionnement face aux solutions propriétaires américaines en offrant aux équipes de recherche françaises et européennes un agent gratuit capable d'automatiser le post-entraînement de LLMs sans dépendance cloud.

OutilsOutil
1 source
openJiuwen publie 'JiuwenClaw', un agent IA auto-évolutif pour la gestion de tâches
3MarkTechPost 

openJiuwen publie 'JiuwenClaw', un agent IA auto-évolutif pour la gestion de tâches

La communauté openJiuwen a publié JiuwenClaw, un agent IA conçu pour exécuter des tâches complexes de bout en bout, sans perdre le fil en cours de route. Contrairement aux agents conversationnels classiques qui traitent chaque modification comme une nouvelle requête indépendante, JiuwenClaw maintient un état d'exécution continu : il gère les interruptions, les réordonnancementset les ajouts de tâches sans perdre le contexte accumulé. Concrètement, dans un scénario bureautique sous Excel, l'agent peut enchaîner organisation de tableau, déduplication, ajout de synthèse et changement de format de sortie — en suivant les intentions de l'utilisateur, et non en recommençant à zéro à chaque nouvelle instruction. Pour la création de contenu, il conserve plusieurs couches de contexte : il distingue une modification structurelle d'un ajustement de ton, préserve le style entre les itérations, et s'appuie sur le brouillon existant plutôt que de régénérer. Ce que JiuwenClaw tente de résoudre est un problème structurel qui plombe la majorité des agents IA actuels : l'amnésie contextuelle. La plupart des systèmes paraissent intelligents en conversation mais s'effondrent dès que la tâche dure plus de quelques échanges. Pour les professionnels — rédacteurs, analystes, développeurs — cela se traduit par une friction constante : reformuler, réexpliquer, reprendre depuis le début. L'agent introduit également une approche d'automatisation navigateur radicalement différente : au lieu d'opérer dans un navigateur virtuel isolé, il prend directement le contrôle du navigateur local de l'utilisateur, avec ses cookies, ses sessions actives et son identité. Cela permet de contourner les protections anti-bot et les CAPTCHAs qui rendent inutilisables la quasi-totalité des agents web en conditions réelles. Techniquement, JiuwenClaw repose sur deux innovations architecturales clés. La première est un système de mémoire hiérarchique à trois couches — une couche d'identité stable, une couche de contexte long terme, et une couche de trajectoire dynamique — qui permet à l'agent d'accumuler des préférences et du contexte au fil du temps, à la manière d'un collaborateur qui apprend. La seconde est une compression intelligente du contexte : une technologie propriétaire qui élimine les informations redondantes tout en conservant les éléments clés, évitant ainsi les explosions de tokens et réduisant significativement les coûts d'usage. JiuwenClaw s'inscrit dans une tendance de fond où les équipes de recherche cherchent à dépasser le paradigme "chat" pour construire des agents véritablement opérationnels. La compétition dans ce segment — aux côtés de projets comme AutoGPT, Devin ou les agents Anthropic — s'intensifie, mais peu ont jusqu'ici démontré une fiabilité satisfaisante sur des tâches longues et évolutives.

OutilsOutil
1 source
AutoAgent : la bibliothèque open source qui permet à une IA d'optimiser son propre système d'agents
4MarkTechPost 

AutoAgent : la bibliothèque open source qui permet à une IA d'optimiser son propre système d'agents

Kevin Gu, ingénieur chez thirdlayer.inc, a publié AutoAgent, une bibliothèque open source qui automatise l'optimisation des agents IA. En l'espace de 24 heures d'exécution autonome, le système a atteint la première place sur SpreadsheetBench avec un score de 96,5 %, et la meilleure performance GPT-5 sur TerminalBench avec 55,1 %. Le projet est disponible sur GitHub avec une architecture délibérément minimaliste : un fichier agent.py qui contient l'intégralité du harness sous test, un fichier program.md que l'humain édite pour donner la directive, et un journal d'expériences results.tsv maintenu automatiquement par le méta-agent pour tracer l'historique de chaque run. Le principe est simple mais radical : là où un ingénieur IA passe des journées à ajuster manuellement les prompts système, les définitions d'outils et la logique d'orchestration de son agent, AutoAgent confie cette boucle d'itération à un second agent, le méta-agent, qui lit la directive, inspecte agent.py, exécute le benchmark, analyse les échecs, réécrit les parties pertinentes et recommence. L'humain ne touche jamais agent.py directement. Ce ratchet loop, proposer une modification, mesurer le score, conserver si meilleur, rejeter sinon, est directement inspiré du projet autoresearch d'Andrej Karpathy, qui applique la même logique à l'entraînement de modèles ML. AutoAgent transpose ce mécanisme au niveau du harness : le prompt système, les outils disponibles, le routage entre sous-agents et la stratégie d'orchestration. Concrètement, toute équipe qui développe des agents complexes pourrait déléguer la phase d'optimisation la plus fastidieuse à un processus nocturne entièrement automatisé, réduisant drastiquement le temps humain consacré au réglage fin. Cette publication s'inscrit dans une tendance plus large d'automatisation de l'ingénierie IA elle-même, souvent désignée sous le terme "méta-apprentissage" ou "self-improvement". Depuis que les LLMs ont démontré leur capacité à écrire et modifier du code de manière fiable, plusieurs laboratoires et chercheurs indépendants explorent des architectures où un modèle supervise l'amélioration d'un autre, ou de lui-même. AutoAgent se distingue par sa portée pratique immédiate : il ne requiert pas d'infrastructure exotique, s'appuie sur le format Harbor pour exprimer les benchmarks, et peut être adapté à n'importe quel domaine via les dossiers tasks/ et .agent/. Les résultats sur TerminalBench et SpreadsheetBench, deux benchmarks reconnus dans la communauté, donnent une crédibilité concrète à l'approche. La question ouverte reste celle du contrôle : lorsqu'un méta-agent réécrit librement la logique d'orchestration d'un système en production, les garanties de sécurité et de prévisibilité du comportement final deviennent un enjeu non trivial que la bibliothèque n'adresse pas encore explicitement.

💬 C'est exactement la boucle que tout dev d'agents rêve d'automatiser, et là quelqu'un l'a fait en un seul fichier. Le score sur SpreadsheetBench est bluffant, bon, reste à voir ce que ça donne sur des tâches moins balisées qu'un benchmark. La vraie question, c'est quand le méta-agent commence à réécrire l'orchestration en prod sans que tu comprennes pourquoi ça marche.

OutilsOutil
1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour