Aller au contenu principal
OutilsAWS ML Blog2h

Détection d'objets avec Amazon Nova 2 Lite

Résumé IASource uniqueImpact UE
Source originale ↗·

Amazon a intégré à son service Bedrock un nouveau modèle multimodal, Nova 2 Lite, capable de détecter des objets dans des images via de simples instructions en langage naturel. Concrètement, il suffit de spécifier les éléments à repérer, une "voiture", une "personne", un "défaut", et le modèle retourne les coordonnées précises de chaque objet sous forme de JSON structuré, avec des boîtes englobantes normalisées sur une échelle de 0 à 1 000. Le déploiement repose sur trois services AWS : Bedrock pour l'inférence, Lambda pour l'exécution serverless, et API Gateway pour exposer l'endpoint. Le coût est particulièrement bas : 0,0003 dollar pour mille tokens en entrée et 0,0025 dollar pour mille tokens en sortie, ce qui revient à environ 5,69 dollars pour 10 000 images. Une intégration complète prend entre 30 et 45 minutes, sans aucun entraînement de modèle nécessaire.

L'intérêt principal est d'éliminer la barrière d'entrée de la vision par ordinateur traditionnelle. Jusqu'ici, mettre en place un système de détection d'objets exigeait des pipelines de données, une infrastructure d'entraînement, des ressources de calcul significatives et souvent une équipe dédiée de data scientists, un investissement prohibitif pour les petites structures. Nova 2 Lite rend cette capacité accessible à n'importe quel développeur Python maîtrisant boto3, sans expertise en machine learning. Les cas d'usage couverts sont concrets : contrôle qualité en fabrication pour repérer des défauts sur une chaîne de production, comptage de cultures en agriculture, suivi de colis en logistique. La précision repose sur le prompt engineering, la façon dont on formule la demande au modèle conditionne directement la qualité des détections.

Cette annonce s'inscrit dans une tendance de fond : les grands modèles de fondation multimodaux absorbent progressivement des tâches qui relevaient auparavant de pipelines spécialisés entraînés sur mesure. Amazon positionne Nova 2 Lite comme une alternative crédible aux solutions de computer vision classiques comme AWS Rekognition ou des bibliothèques comme YOLO, en misant sur la flexibilité du langage naturel plutôt que sur des catégories prédéfinies. Le fait que les coordonnées soient retournées dans un format standardisé et que l'architecture soit entièrement serverless facilite l'intégration dans des workflows existants. La prochaine étape logique pour les équipes adoptant cette approche sera d'évaluer les limites de précision face à des cas complexes, occlusions, objets de petite taille, scènes encombrées, là où les modèles spécialisés conservent encore un avantage.

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

Amazon Nova 2 appliqué à la modération de contenu
1AWS ML Blog 

Amazon Nova 2 appliqué à la modération de contenu

Amazon a publié un guide détaillé sur l'utilisation de son modèle Nova 2 Lite pour la modération de contenus générés par les utilisateurs, en s'appuyant sur des techniques de prompting structuré plutôt que sur un entraînement personnalisé. Le système repose sur Amazon Bedrock et intègre le standard MLCommons AILuminate v1.1, une taxonomie de 12 catégories de risques organisées en trois groupes : risques physiques (crimes violents, automutilation), non-physiques (haine, atteinte à la vie privée) et contextuels (conseils spécialisés). Le pipeline fonctionne en quatre étapes : le contenu entrant est enveloppé dans un prompt avec des définitions de politique et des exemples, envoyé au modèle, puis la réponse indique si une violation est détectée, quelle catégorie est concernée, et une explication optionnelle. La configuration recommandée est une température de 0,7 et un top-p de 0,9, bien qu'une température à 0 soit possible pour des sorties déterministes. Amazon précise également que le mode raisonnement peut être désactivé pour les pipelines à fort débit, réduisant latence et coûts. L'approche par prompting présente un avantage opérationnel majeur par rapport au fine-tuning : elle ne nécessite aucune donnée d'entraînement ni personnalisation du modèle. Mettre à jour une politique de modération revient simplement à modifier le prompt, sans réentraîner quoi que ce soit. Pour des équipes qui modèrent des millions de messages, forums ou commentaires, cela représente une réduction drastique du cycle de déploiement. Nova 2 Lite est présenté comme un modèle multimodal à faible coût et à inférence rapide, conçu précisément pour ces usages à haut volume. Amazon a benchmarké ses performances face à plusieurs modèles fondamentaux concurrents sur trois jeux de données publics, positionnant Nova 2 Lite comme une option compétitive pour les entreprises qui ne veulent pas internaliser des modèles lourds. Cette publication s'inscrit dans une stratégie plus large d'Amazon pour imposer Bedrock comme infrastructure de référence pour les cas d'usage IA en production. La modération de contenu est un marché critique : les grandes plateformes (réseaux sociaux, marketplaces, forums) font face à des obligations légales croissantes en Europe et aux États-Unis pour retirer contenus illicites et discours haineux dans des délais stricts. Le standard AILuminate de MLCommons, un consortium industriel cofondé par Meta, Google et d'autres, cherche à établir des bases communes d'évaluation pour éviter que chaque acteur redéfinisse les critères de nocivité à sa guise. En ancrant son guide sur ce référentiel, Amazon positionne Nova 2 Lite non seulement comme un outil technique, mais comme une solution alignée sur les standards émergents de l'industrie, à un moment où la pression réglementaire sur la modération automatisée s'intensifie des deux côtés de l'Atlantique.

UELes plateformes européennes soumises au DSA pourraient s'appuyer sur cette solution pour automatiser la modération de contenu et respecter les délais de retrait stricts imposés par la réglementation européenne.

OutilsOutil
1 source
Agents vocaux en temps réel avec Stream Vision Agents et Amazon Nova 2 Sonic
2AWS ML Blog 

Agents vocaux en temps réel avec Stream Vision Agents et Amazon Nova 2 Sonic

Amazon et Stream ont annoncé une intégration combinant le framework open-source Vision Agents de Stream avec Amazon Nova 2 Sonic, un modèle de fondation voix-à-voix disponible via Amazon Bedrock. Cette solution permet de construire des agents vocaux en temps réel capables d'être déployés en production en quelques minutes. Nova 2 Sonic prend en charge l'intégralité du pipeline vocal, entrée audio, détection de tour de parole, appel de fonctions et sortie audio, sans recourir à des services séparés de reconnaissance ou de synthèse vocale. Vision Agents, côté Stream, est un framework Python open-source proposant plus de 25 intégrations, des SDK clients pour React, iOS, Android, Flutter et React Native, et une architecture modulaire basée sur des décorateurs. Le réseau edge mondial de Stream complète le dispositif, avec des temps de connexion inférieurs à 500 ms et une latence audio typique de moins de 30 ms. L'enjeu est considérable pour les équipes qui développent des applications vocales : une conversation naturelle exige que la totalité du pipeline, capture du micro, traitement, génération de réponse, restitution audio, s'exécute en quelques centaines de millisecondes. Jusqu'ici, les développeurs devaient consacrer l'essentiel de leur temps non pas à l'IA elle-même, mais à la gestion des connexions WebRTC, aux logiques de reconnexion automatique, à la compatibilité navigateur et à la dégradation gracieuse en cas d'indisponibilité d'un service. Cette charge infrastructure forçait les équipes soit à investir plusieurs mois dans des solutions maison, soit à se contenter de produits clés en main trop rigides. L'intégration Vision Agents + Nova 2 Sonic absorbe cette complexité et libère les développeurs pour se concentrer sur les cas d'usage : support client, automatisation de workflows, actions pilotées par API. La course à l'agent vocal de qualité production s'est intensifiée ces derniers mois, avec OpenAI, Google et Mistral qui proposent chacun des modèles natifs voix-à-voix. Amazon positionne Nova 2 Sonic comme une réponse enterprise via Bedrock, en s'appuyant sur l'écosystème AWS et le réseau de partenaires comme Stream pour accélérer l'adoption. Le support multilingue natif et les capacités de function calling de Nova 2 Sonic ouvrent la voie à des agents vocaux connectés à des systèmes tiers, CRM, bases de données, outils métier, sans couche d'intégration supplémentaire. La prochaine étape pour cet écosystème sera probablement l'extension vers des agents multimodaux combinant voix et vision, une direction que Vision Agents anticipe déjà avec son nom et son architecture.

UELes développeurs et entreprises européens utilisant AWS Bedrock peuvent désormais déployer des agents vocaux en production sans infrastructure supplémentaire grâce à cette intégration.

OutilsOutil
1 source
3AWS ML Blog 

Commandes omnicanales avec Amazon Bedrock AgentCore et Amazon Nova 2 Sonic

Amazon a présenté une architecture complète pour construire des systèmes de commande vocale omnicanaux en s'appuyant sur deux de ses services cloud : Amazon Bedrock AgentCore, une plateforme dédiée au déploiement d'agents IA en production, et Amazon Nova 2 Sonic, un modèle de fondation speech-to-speech disponible via Amazon Bedrock. La solution permet à une application de traiter des commandes vocales en temps réel sur plusieurs points de contact simultanément, application mobile, site web et interface vocale, tout en maintenant le contexte conversationnel entre les échanges. L'infrastructure s'appuie sur AWS CDK pour le déploiement, le protocole MCP (Model Context Protocol) pour connecter l'agent IA aux services métier, et une série de services managés : Amazon Cognito pour l'authentification OAuth 2.0, API Gateway pour exposer les endpoints REST, AWS Lambda pour la logique métier, DynamoDB pour le stockage des profils et commandes, et AWS Location Services pour les recommandations géolocalisées de points de retrait. L'intérêt principal de cette architecture réside dans sa capacité à isoler chaque composant pour les faire évoluer indépendamment. AgentCore Runtime exécute chaque session utilisateur dans une microVM isolée, ce qui garantit qu'un pic de charge sur une session n'affecte pas les autres, un problème classique des systèmes vocaux en production. Le MCP standardise la communication entre l'agent et les services backend, ce qui permet de modifier ou d'étendre la logique métier sans réécrire le code d'intégration. Pour les équipes qui construisent des expériences de commande vocale à grande échelle, restauration rapide, retail, logistique, cette séparation claire entre la couche IA, le frontend et le backend réduit significativement la complexité opérationnelle et les risques de régression lors des mises à jour. La publication de cette solution s'inscrit dans une compétition intense autour des agents IA en production. Google, Microsoft et des acteurs comme Anthropic proposent leurs propres infrastructures agentiques, mais AWS mise sur l'intégration native avec son écosystème de services cloud existants comme différenciateur clé. Nova 2 Sonic, le modèle speech-to-speech au coeur du système, représente l'entrée d'Amazon dans les interfaces vocales conversationnelles en temps réel, un segment où OpenAI s'est imposé avec GPT-4o Voice. En publiant ce tutoriel complet avec une architecture de restaurant fictive comme backend d'exemple, Amazon cherche à accélérer l'adoption par les développeurs et à établir AgentCore comme standard de fait pour le déploiement d'agents IA sur AWS. Les prochaines étapes logiques incluront probablement l'extension à d'autres modalités et l'intégration avec des systèmes de caisse et d'inventaire existants.

OutilsOutil
1 source
Agent vocal scalable avec Amazon Nova Sonic : multi-agents, outils et segmentation de session
4AWS ML Blog 

Agent vocal scalable avec Amazon Nova Sonic : multi-agents, outils et segmentation de session

Amazon a présenté une série de patrons architecturaux pour concevoir des agents vocaux scalables, s'appuyant sur trois composants clés : Amazon Nova Sonic, Amazon Bedrock AgentCore Runtime et le framework open source Strands Agents. Nova Sonic est un modèle de fondation capable de conduire des conversations vocales naturelles en temps réel, avec compréhension du ton et du flux conversationnel. AgentCore Runtime constitue un environnement d'hébergement serverless pour agents IA : on y déploie un agent comme contenaire, et la plateforme gère automatiquement la mise à l'échelle, l'isolation de sessions via microVM, la facturation et le streaming WebSocket bidirectionnel authentifié. Strands Agents, via sa classe BidiAgent, sert de couche d'intégration qui simplifie la gestion du cycle de vie du flux audio et le routage des appels d'outils. Trois patrons d'intégration sont détaillés pour répondre aux défis concrets des équipes : latence élevée, coordination multi-agents et gestion de l'audio en temps réel. Le premier patron, AgentCore Gateway, expose la logique métier existante comme des outils discrets appelables directement par Nova Sonic, sans couche de raisonnement intermédiaire, ce qui minimise la latence. Un exemple concret : quand un utilisateur demande son solde bancaire, le modèle sélectionne l'outil approprié, passe les paramètres et restitue le résultat vocalement en quelques centaines de millisecondes. Le deuxième patron, l'agent-as-tool ou sous-agent, permet de composer plusieurs agents spécialisés, chacun encapsulant un domaine métier distinct, l'agent principal les invoquant comme de simples fonctions. Le troisième patron, la segmentation de sessions, isole les prompts, la mémoire et les permissions selon le contexte, renforçant les frontières de sécurité tout en permettant la réutilisation des composants. Ces annonces s'inscrivent dans une tendance de fond : le passage des assistants vocaux monolithiques vers des architectures composables, où des agents légers et spécialisés collaborent plutôt qu'un seul modèle omniscient tente de tout gérer. Amazon s'aligne ici sur le protocole MCP (Model Context Protocol), standard open source en cours d'adoption dans l'industrie pour l'interopérabilité des outils d'agents. AgentCore Gateway agit comme hôte managé de serveurs MCP, identifiés par des ARN AWS. L'enjeu commercial est direct : les entreprises déployant des centres de contacts ou des assistants vocaux à grande échelle cherchent à réduire le temps avant le premier audio (time-to-first-audio) tout en maintenant fiabilité et conformité. AWS positionne ainsi Bedrock comme socle d'infrastructure pour la prochaine génération d'expériences vocales IA en production.

UELes équipes européennes déployant des centres de contact vocaux peuvent adopter ces patrons via AWS Bedrock, mais aucun acteur ou régulateur européen n'est directement impliqué.

OutilsOutil
1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour