Créer un portail personnalisé avec les applications MLflow d'Amazon SageMaker AI intégrées

Créez des applications vocales en temps réel avec Amazon SageMaker AI et vLLM

Depuis novembre 2025, Amazon SageMaker AI propose un mode de streaming bidirectionnel pour l'inférence en temps réel, permettant aux développeurs de faire circuler des données en continu dans les deux sens entre leurs applications et les conteneurs de modèles. Mistral AI en est l'un des premiers bénéficiaires concrets : le modèle Voxtral-Mini-4B-Realtime-2602, conçu spécifiquement pour la transcription vocale en temps réel, peut désormais être déployé sur un endpoint SageMaker via un conteneur vLLM. Le framework open source vLLM, de son côté, expose une API dite Realtime accessible via WebSocket à l'adresse /v1/realtime, qui traite l'audio de façon incrémentale et renvoie les tokens de transcription au fur et à mesure que le son arrive, sans attendre la fin de l'enregistrement. SageMaker gère la traduction de protocole entre HTTP/2 côté client et WebSocket côté conteneur sur le port 8443, de façon transparente et sans configuration supplémentaire. L'enjeu est direct pour toute une classe d'applications professionnelles qui se heurtaient jusqu'ici à la latence inhérente aux architectures requête-réponse classiques : agents vocaux, sous-titrage en direct, analytique de centres d'appels, outils d'accessibilité. Dans ces contextes, attendre que l'intégralité d'un enregistrement soit reçue avant de lancer la transcription brise l'expérience temps réel. La nouvelle architecture permet une connexion full-duplex persistante : l'audio entre en continu, la transcription sort en continu. vLLM applique par ailleurs une exécution par graphe CUDA en morceaux pour réduire la latence par token lors du streaming, tandis que SageMaker assure le monitoring via Amazon CloudWatch, les keepalives WebSocket et la résilience de connexion sans instrumentation personnalisée. Cette évolution s'inscrit dans une tendance plus large de convergence entre infrastructure cloud managée et serving open source haute performance. Amazon a progressivement enrichi SageMaker pour couvrir des cas d'usage au-delà de l'inférence batch classique, et le support du streaming bidirectionnel représente une réponse directe à la montée des LLM multimodaux et des applications temps réel. Mistral AI, avec sa gamme Voxtral, positionne ses modèles compacts sur le segment de la voix embarquée et managée, en concurrence avec des solutions propriétaires comme Whisper d'OpenAI ou les API de Google Cloud Speech. Le fait que vLLM soit open source garantit aux équipes une maîtrise totale sur la configuration, la quantisation et la compilation des modèles, sans dépendance à un fournisseur de serving. Un dépôt GitHub accompagne le tutoriel pour reproduire le déploiement complet.

Amazon SageMaker AI accélère les appels d'outils des agents autonomes avec la personnalisation de modèles sans serveur

Amazon a introduit une fonctionnalité de personnalisation de modèles sans serveur dans SageMaker AI, permettant aux équipes d'améliorer drastiquement les capacités d'appel d'outils des agents IA sans gérer d'infrastructure GPU. Dans un cas concret publié début avril 2026, des ingénieurs ont affiné le modèle Qwen 2.5 7B Instruct en utilisant la technique RLVR (Reinforcement Learning with Verifiable Rewards) et ont obtenu une amélioration de 57% du score de qualité des appels d'outils sur des scénarios inédits, c'est-à-dire des outils que le modèle n'avait jamais vus lors de l'entraînement. La méthode repose sur un principe simple : le modèle génère huit réponses candidates par prompt, une fonction de récompense vérifie lesquelles sont correctes, et l'algorithme GRPO (Group Relative Policy Optimization) renforce les comportements qui surpassent la moyenne du groupe. SageMaker AI prend en charge les familles de modèles Amazon Nova, Llama, Qwen et DeepSeek, avec un suivi des métriques via MLflow intégré. L'enjeu est concret : les agents IA en production échouent fréquemment lors des appels d'outils, qu'il s'agisse d'halluciner des fonctions inexistantes, de passer des paramètres incorrects, ou de déclencher une action là où ils devraient demander une clarification. Ces erreurs bloquent le déploiement en production et détruisent la confiance des utilisateurs. La nouvelle approche serverless d'Amazon supprime l'obstacle opérationnel majeur que représentait jusqu'ici le fine-tuning par renforcement : achat de GPU, orchestration mémoire entre les phases de rollout et d'entraînement, infrastructure de récompenses, gestion des checkpoints. Les équipes peuvent désormais se concentrer sur leurs données, leur modèle et leur fonction de récompense, le reste étant géré par la plateforme. Le fine-tuning supervisé classique (SFT) montre ses limites pour ce type de tâche : il nécessite des exemples étiquetés pour chaque comportement souhaité, mais peine à généraliser la prise de décision entre appeler un outil, demander des informations supplémentaires, ou refuser d'agir. RLVR contourne ce problème en exploitant la nature vérifiable des appels d'outils : soit le modèle a appelé la bonne fonction avec les bons paramètres, soit non. Cette objectivité binaire rend l'appel d'outils particulièrement adapté à l'apprentissage par renforcement. Amazon positionne cette offre dans un marché de l'IA agentique en forte croissance, où des acteurs comme Google (Vertex AI), Microsoft (Azure ML) et des startups spécialisées se disputent les équipes qui cherchent à industrialiser des agents fiables, avec un accès simplifié via SageMaker Studio et un compte AWS standard.

Créer des agents Strands avec les modèles SageMaker AI et MLflow

Amazon Web Services a publié un guide technique détaillant la construction d'agents d'intelligence artificielle en combinant trois de ses outils : le SDK open source Strands Agents, les endpoints de modèles Amazon SageMaker AI, et la plateforme d'observabilité MLflow hébergée sur SageMaker Serverless. Le SDK Strands, à approche pilotée par le modèle, permet de créer un agent fonctionnel en quelques lignes de code en associant un modèle de langage, un prompt système et un ensemble d'outils. Les modèles sont déployés via SageMaker JumpStart, un hub machine learning qui permet d'évaluer et de sélectionner rapidement des modèles de fondation selon des critères de qualité et de responsabilité prédéfinis. L'intégration de MLflow permet ensuite de tracer les appels d'agents, de versionner les modèles et d'implémenter des tests A/B entre plusieurs variantes de modèles pour en évaluer les performances à l'aide de métriques objectives. Cette architecture répond à un besoin concret des grandes entreprises qui ne peuvent pas se contenter des services de modèles entièrement gérés : contrôle précis sur les instances de calcul, politiques de mise à l'échelle, configuration réseau compatible avec les architectures de sécurité existantes, et conformité en matière de résidence des données. Là où Amazon Bedrock simplifie l'accès aux modèles de fondation en masquant l'infrastructure, SageMaker AI laisse à l'organisation la maîtrise de l'endroit et de la manière dont l'inférence se produit, ce qui est décisif pour les secteurs réglementés comme la finance ou la santé. La couche MLflow ajoute une dimension industrielle : les équipes peuvent comparer les performances de différents modèles dans des conditions réelles, réduire les coûts en sélectionnant le modèle le plus efficace pour chaque tâche, et maintenir un historique d'expériences exploitable dans le temps. La publication de ce guide s'inscrit dans une course plus large pour capter les déploiements d'agents IA en production. AWS répond ainsi à la demande croissante des équipes MLOps qui veulent bénéficier de la commodité du cloud tout en conservant une maîtrise fine de l'infrastructure, une position souvent impossible avec les APIs gérées de type Bedrock ou OpenAI. Strands Agents, rendu open source par Amazon, concurrence directement des frameworks comme LangChain ou CrewAI, avec l'avantage d'une intégration native dans l'écosystème AWS. L'accent mis sur les tests A/B et l'évaluation continue des agents signale que le secteur entre dans une phase de maturité : il ne s'agit plus seulement de faire fonctionner un agent, mais de le mesurer, le comparer, et l'améliorer de façon systématique en production.

Nemotron 3 : affinement des modèles NVIDIA avec la personnalisation serverless d'Amazon SageMaker AI

Amazon vient d'annoncer l'intégration de la personnalisation de modèles serverless pour les modèles NVIDIA Nemotron 3 au sein d'Amazon SageMaker AI. Deux versions sont concernées: Nemotron 3 Nano, qui compte 30 milliards de paramètres au total dont 3 milliards actifs, et Nemotron 3 Super, plus imposant avec 120 milliards de paramètres au total dont 12 milliards actifs. Les entreprises peuvent désormais affiner ces modèles open-weight via trois techniques disponibles sans avoir à provisionner ni gérer la moindre infrastructure: le fine-tuning supervisé classique (SFT), l'apprentissage par renforcement avec récompenses vérifiables (RLVR), et l'apprentissage par renforcement avec retour d'IA (RLAIF). Nemotron 3 repose sur une architecture hybride combinant Mamba et Transformer sous forme de mélange d'experts (MoE), capable de gérer des contextes allant jusqu'à un million de tokens. Elle entrelace trois types de couches complémentaires: des couches Mamba-2 pour un traitement séquentiel rapide en temps linéaire, des couches d'attention Transformer pour un rappel associatif précis, et des couches de mélange d'experts latent qui compressent les tokens avant de les router vers des experts spécialisés. Résultat, seule une fraction des paramètres totaux est activée à chaque passage, comme les 12 milliards sur 120 pour la version Super, ce qui garantit un débit élevé à moindre coût de calcul. Pour les entreprises, affiner un modèle sur leurs propres données ne relève plus seulement de l'optimisation technique: cela revient à créer une propriété intellectuelle propriétaire, encodant leur savoir-faire, leur vocabulaire métier et leur ton de marque directement dans l'architecture du modèle. Cette approche permet souvent à des modèles plus petits et ouverts d'égaler, voire de dépasser, les performances de modèles propriétaires bien plus volumineux, tout en gardant les données sensibles dans une infrastructure privée et sécurisée. Pour les charges de travail à fort volume impliquant plusieurs agents, comme le codage ou le triage de cybersécurité, ce type d'avantage devient un facteur de compétitivité difficile à répliquer avec des modèles génériques du marché. Les deux modèles ont été entraînés via NeMo Gym, un système d'apprentissage par renforcement multi-environnements qui les aligne sur des tâches agentiques réelles en plusieurs étapes, couvrant le codage, le raisonnement et l'analyse de contextes longs. Nemotron 3 Nano affiche un débit quatre fois supérieur à son prédécesseur Nemotron 2 Nano, le rendant particulièrement adapté aux charges de travail multi-agents à fort volume où coût et latence sont critiques. Nemotron 3 Super, de son côté, cible les applications multi-agents complexes comme le développement logiciel, misant sur une capacité de raisonnement accrue tout en conservant une efficacité de calcul élevée.

💬 Nemotron 3 Super fait tourner 12 milliards de paramètres actifs sur 120 et bat des modèles bien plus gros, c'est la confirmation qu'on n'a plus besoin de mastodontes pour du raisonnement agentique sérieux. Ce qui change vraiment, c'est le fine-tuning serverless : plus de cluster GPU à gérer, tu balances tes données et Amazon fait le reste. Reste que la vraie valeur, ce n'est plus le modèle en lui-même, c'est ce que t'y injectes, ton vocabulaire métier, ton ton de marque, tes données propriétaires. Pour du codage ou du triage cyber à gros volume, ça devient un avantage concurrentiel qu'un modèle générique ne rattrapera pas.