Anthropic franchit un cap : Claude prend le contrôle de votre ordinateur
Anthropic vient de franchir une étape majeure dans le développement des agents IA en dotant son modèle Claude d'une capacité inédite : prendre le contrôle d'un ordinateur comme le ferait un utilisateur humain. Baptisée "computer use", cette fonctionnalité permet à Claude de déplacer le curseur, cliquer sur des boutons, saisir du texte et naviguer dans des applications, sans passer par une API dédiée, mais en observant directement l'écran.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de ZDNET FR. Lire l'article original →
L'enjeu dépasse largement le gadget technique. Pour les entreprises, cela ouvre la voie à l'automatisation de tâches complexes jusqu'ici impossibles à déléguer à une machine : remplir des formulaires web, compiler des données depuis plusieurs logiciels, interagir avec des interfaces héritées. Pour les utilisateurs, c'est la promesse d'un assistant capable d'exécuter des séquences entières d'actions, pas seulement de répondre à des questions.
La fonctionnalité est disponible en version bêta via l'API Claude d'Anthropic, accessible aux développeurs. Le modèle utilisé est Claude 3.5 Sonnet, qui capture des captures d'écran à intervalles réguliers pour percevoir l'état de l'interface et planifier ses actions. Dans les benchmarks internes, Claude atteint un score de 14,9 % sur le test OSWorld, référence sectorielle pour l'évaluation des agents à interface graphique, contre 7,7 % pour les meilleurs modèles concurrents au moment de l'annonce. Des chiffres encore modestes, qu'Anthropic reconnaît elle-même, mais qui illustrent une progression nette.
La question de la sécurité reste néanmoins centrale. Anthropic avertit explicitement les développeurs de ne pas confier à Claude des accès sans surveillance à des données sensibles ou à des actions irréversibles. Le risque d'injection de prompt via des contenus malveillants affichés à l'écran constitue un vecteur d'attaque réel, que la communauté sécurité surveille de près. La course aux agents autonomes est lancée, Google, Microsoft et OpenAI travaillent sur des capacités similaires, mais la maturité opérationnelle n'est pas encore au rendez-vous.
Les entreprises européennes utilisant Claude devront évaluer les implications de sécurité avant d'adopter ces capacités d'automatisation autonome.