OutilsVentureBeat AI1h

OpenAI met à jour Codex pour contrôler d'autres applications, générer des images et prévisualiser des pages web

1 source couvre ce sujet·Source originale ↗·

OpenAI a annoncé une mise à jour majeure de son application desktop Codex, disponible sur Mac et Windows, confirmant au passage que la plateforme compte désormais 3 millions de développeurs actifs chaque semaine. La nouveauté centrale s'appelle "Computer Use" : Codex peut désormais voir, cliquer et taper dans n'importe quelle application installée sur l'ordinateur de l'utilisateur. Andrew Ambrosino, responsable du développement de l'application Codex chez OpenAI, l'a formulé sans détour : "Codex peut réellement cliquer sur des applications, lancer des applications et saisir du texte dans des applications. Cela fonctionne avec n'importe quelle application sur votre machine." Sur macOS, cette interaction se déroule en arrière-plan pendant que l'utilisateur continue de travailler normalement, ce qui permet à plusieurs agents d'opérer simultanément. L'application intègre également un navigateur web natif pour prévisualiser les interfaces frontend, ainsi qu'un accès direct au modèle de génération d'images gpt-image-1.5, utilisable pour produire des visuels cohérents destinés à des sites web, des présentations ou même des jeux vidéo complets avec des centaines d'assets graphiques.

L'enjeu est considérable pour les développeurs professionnels : Codex devient un environnement de développement logiciel unifié, couvrant l'intégralité du cycle de vie d'un projet, de la revue de pull requests GitHub à la gestion d'infrastructure distante. Concrètement, un agent peut trier des tickets JIRA ou tester une modification frontend pendant que le développeur travaille en parallèle sur autre chose. Thibault Sottiaux, directeur de Codex chez OpenAI, résume l'ambition : "Il s'agit de placer un agent très capable entre les mains des développeurs, et nous voyons maintenant que nous sommes en mesure d'étendre son action à l'ensemble de l'ordinateur." Sur Windows, la fonctionnalité de contrôle du curseur en arrière-plan n'est pas encore disponible au lancement, bien que l'application puisse déjà extraire des informations des autres applications pour les afficher à l'utilisateur.

Cette évolution s'inscrit dans une course directe avec Anthropic, qui a récemment repositionné Claude avec ses vues Claude Cowork et une application desktop remaniée pour Mac et Windows. Mais Claude ne propose pas encore d'interaction simultanée avec le curseur en arrière-plan sur l'ensemble des applications système comme le fait Codex. OpenAI assume pleinement ce choix de développer ces capacités dans Codex plutôt que dans ChatGPT, son application phare grand public : Sottiaux explique que Codex est "l'agent le plus puissant" de la société, déjà ancré dans l'environnement de travail des développeurs, ce qui en fait le terrain naturel pour ces expérimentations. L'entreprise a confirmé vouloir faire de Codex une "Super App" pour les développeurs, une orientation qui, si elle tient ses promesses, pourrait redéfinir la manière dont les ingénieurs logiciels interagissent avec leurs outils au quotidien.

Impact France/UE

Les développeurs européens peuvent adopter un environnement de développement unifié avec contrôle système natif, accélérant potentiellement l'intégration de l'IA dans leurs workflows professionnels.

À lire aussi

1Ars Technica AI

Codex s'enrichit de nouvelles fonctionnalités, dont l'utilisation de votre ordinateur en arrière-plan

OpenAI a déployé aujourd'hui une nouvelle version de son application desktop Codex, apportant un ensemble de fonctionnalités inédites qui étendent son champ d'action bien au-delà du code. Parmi les ajouts les plus notables figure la capacité d'effectuer des tâches sur l'ordinateur de l'utilisateur en arrière-plan, sans interrompre le travail en cours sur le bureau. L'entreprise a détaillé cette mise à jour dans un billet de blog officiel, présentant également des améliorations pour les développeurs et une ouverture vers des usages non techniques. Cette fonctionnalité d'exécution en arrière-plan représente un changement de paradigme significatif : l'agent ne se contente plus de répondre à des requêtes ponctuelles, il agit de manière autonome sur la machine pendant que l'utilisateur continue son activité normale. Pour les développeurs comme pour les professionnels du secteur, cela ouvre la voie à une automatisation plus profonde des tâches répétitives, qu'il s'agisse de refactorisation de code, de recherche ou de traitement de fichiers, sans mobiliser l'attention de l'utilisateur. Cette mise à jour s'inscrit dans la stratégie plus large d'OpenAI de transformer Codex en une "super app" polyvalente, capable de couvrir à la fois les besoins techniques et les tâches de travail du savoir en général. La compétition dans ce segment s'intensifie, avec des concurrents comme Anthropic (Claude) et Google (Gemini) qui proposent également des agents de bureau. OpenAI mise sur l'intégration native et la discrétion d'exécution pour se différencier dans une course qui redéfinit la relation entre l'humain et l'ordinateur.

OutilsOutil

1 source

2AWS ML Blog

Génération SQL à partir de texte : une approche économique avec Amazon Nova Micro et Bedrock

Amazon Web Services propose une nouvelle approche pour déployer des modèles de langage spécialisés dans la génération de requêtes SQL à partir du langage naturel, en combinant l'optimisation LoRA (Low-Rank Adaptation) avec l'inférence serverless d'Amazon Bedrock. Le modèle ciblé est Amazon Nova Micro, un modèle fondation léger disponible sur Bedrock. La solution a été testée sur un volume de 22 000 requêtes mensuelles pour un coût de seulement 0,80 dollar par mois, contre des dépenses bien supérieures avec une infrastructure hébergée en permanence. Deux chemins d'implémentation distincts sont proposés : l'un via la personnalisation gérée d'Amazon Bedrock, l'autre via des jobs d'entraînement Amazon SageMaker AI pour un contrôle plus fin des hyperparamètres. Les deux options convergent vers le même pipeline de déploiement sur Bedrock en inférence à la demande. Le jeu de données utilisé pour la démonstration est sql-create-context, une combinaison des datasets WikiSQL et Spider comprenant plus de 78 000 exemples de questions en langage naturel associées à des requêtes SQL de complexité variable. L'enjeu principal est économique : les modèles fine-tunés nécessitent traditionnellement une infrastructure dédiée tournant en continu, même en l'absence de trafic, ce qui génère des coûts fixes importants. Le modèle pay-per-token d'Amazon Bedrock élimine ce gaspillage en ne facturant que les tokens réellement traités. Pour les entreprises avec des dialectes SQL maison ou des schémas métier très spécifiques, cette combinaison rend accessible la personnalisation des LLMs sans engager de budget infrastructure significatif. Les équipes techniques gagnent également en simplicité opérationnelle : pas de gestion de serveurs, pas de scaling manuel, pas de surveillance d'infrastructure GPU. La génération SQL par IA est un cas d'usage critique en entreprise, car elle permet à des utilisateurs non-techniques d'interroger des bases de données en langage naturel. Les modèles généralistes gèrent bien le SQL standard, mais échouent sur les dialectes propriétaires ou les schémas complexes propres à chaque organisation. Le fine-tuning résout ce problème, mais introduisait jusqu'ici un compromis coûteux. AWS positionne ici Bedrock comme une infrastructure mutualisée capable d'héberger des adaptateurs LoRA à la demande, une approche qui pourrait devenir un standard pour les déploiements d'IA spécialisée à faible volume. La maturité croissante des outils de personnalisation cloud laisse entrevoir une généralisation de ce modèle économique à d'autres tâches NLP d'entreprise.

UELes entreprises européennes hébergées sur AWS peuvent adopter cette architecture serverless pour réduire leurs coûts de déploiement de modèles SQL spécialisés, Bedrock étant disponible dans les régions EU.

OutilsOutil

1 source

3AWS ML Blog

L'IA générative d'AWS au service du commerce de détail

Amazon Web Services propose une solution complète de commerce en ligne basée sur l'intelligence artificielle générative, permettant aux enseignes de déployer un système d'essayage virtuel et de recommandation de produits. Construite autour d'Amazon Nova Canvas, Amazon Rekognition et Amazon OpenSearch Serverless, l'architecture repose entièrement sur des services sans serveur (serverless) et se déploie via une seule commande grâce au modèle AWS SAM. Cinq fonctions Lambda spécialisées orchestrent les différentes capacités : interface chatbot, traitement de l'essayage virtuel, génération de recommandations, ingestion de données et recherche intelligente. Le stockage s'appuie sur des buckets S3, la recherche vectorielle sur OpenSearch Serverless, et le suivi analytique en temps réel sur DynamoDB. La solution est disponible en open source sur GitHub et peut être déployée directement dans un compte AWS, de préférence en région us-east-1. Cette technologie s'attaque à un problème économique majeur du e-commerce : l'incertitude des acheteurs face à la taille et au rendu visuel des produits, qui génère des taux de retour élevés, des coûts opérationnels importants et une frustration client. En permettant aux consommateurs de visualiser de façon réaliste un vêtement ou un accessoire porté sur eux, le système améliore directement la confiance à l'achat et réduit les retours, avec un impact mesurable sur la rentabilité. Au-delà de l'essayage, la solution intègre une recherche en langage naturel comprenant l'intention client, des recommandations visuellement pertinentes basées sur Amazon Titan Multimodal Embeddings, et un tableau de bord analytique qui aide les retailers à optimiser leur inventaire et leurs décisions merchandising. Le commerce en ligne est sous pression croissante pour reproduire l'expérience sensorielle du magasin physique, un défi que les technologies de réalité augmentée et d'IA générative commencent seulement à résoudre à grande échelle. AWS positionne cette solution autant pour ses partenaires intégrateurs que pour les retailers qui souhaitent accélérer leur transformation numérique sans développer d'infrastructure propriétaire. La conception modulaire permet d'adopter une ou plusieurs fonctionnalités de façon indépendante, abaissant ainsi la barrière à l'entrée pour les enseignes de taille intermédiaire. À mesure que les modèles de fondation d'Amazon Bedrock gagnent en disponibilité régionale et en performance, ce type de solution hybride, combinant vision par ordinateur, embeddings multimodaux et génération d'images, devrait s'imposer comme standard dans les plateformes e-commerce de nouvelle génération.

UELes retailers français et européens peuvent déployer cette solution pour réduire leurs taux de retour e-commerce, mais au prix d'une dépendance totale à l'infrastructure cloud américaine d'AWS.

OutilsOutil

1 source

4AWS ML Blog

Les contrôles de raisonnement automatisé dans Amazon Bedrock au service de la conformité de l'IA générative

Amazon Web Services a intégré dans son service Bedrock Guardrails une fonctionnalité appelée Automated Reasoning checks, qui remplace la validation probabiliste des sorties d'IA par une vérification mathématique formelle. Contrairement à l'approche courante qui consiste à utiliser un second LLM pour évaluer les réponses d'un premier, cette technologie s'appuie sur des méthodes issues de la logique formelle, notamment les solveurs SAT et SMT, pour prouver qu'une réponse générée par une IA est cohérente avec un ensemble de règles définies. L'équipe Amazon Logistics figure parmi les premiers cas d'usage concrets, ayant réduit ses cycles de revue d'ingénierie grâce à ce système. Le dispositif se décompose en quatre étapes : encodage des règles métier, traduction des sorties de l'IA, moteur de vérification formelle, puis génération d'un résultat auditabl. L'enjeu est majeur pour les secteurs réglementés, où une réponse incorrecte d'un assistant IA peut avoir des conséquences juridiques ou financières directes. Dans le domaine de l'assurance, si un chatbot indique à un client qu'un sinistre est couvert, une validation par LLM-as-a-judge se contente de dire "ça semble correct". Les Automated Reasoning checks, elles, prouvent mathématiquement que la réponse respecte chaque clause de la police, et si ce n'est pas le cas, indiquent précisément quelle règle est violée et pourquoi. Pour les hôpitaux soumis aux normes de radioprotection, les institutions financières qui doivent se conformer à l'AI Act européen, ou les assureurs qui répondent à des questions de couverture, cette capacité à produire des preuves formelles et auditables représente un changement structurel : les équipes de conformité peuvent remplacer des semaines de revue manuelle et des consultants externes par des traces vérifiables automatiquement générées. Cette innovation s'inscrit dans des décennies de recherche en vérification formelle, une discipline qui sert déjà à valider des conceptions matérielles, des protocoles cryptographiques et des logiciels critiques pour la sécurité. AWS l'applique désormais à l'IA générative en combinant réseaux de neurones et raisonnement logique. L'outil fait partie d'un ensemble plus large de mécanismes d'IA responsable proposés dans Bedrock, aux côtés de garde-fous contre les hallucinations et les contenus inappropriés. Avec la montée en puissance des agents autonomes dans les environnements d'entreprise, et face à des régulateurs de plus en plus exigeants en matière de traçabilité des décisions algorithmiques, la capacité à produire des justifications mathématiquement fondées pourrait rapidement devenir une exigence standard dans les secteurs de la finance, de la santé et de l'énergie.

UELes entreprises européennes des secteurs financier et de la santé soumises à l'AI Act pourraient automatiser leur mise en conformité réglementaire grâce à cet outil, réduisant les coûts de revue manuelle et produisant des traces auditables exigibles par les régulateurs.

OutilsOpinion

1 source