OutilsAWS ML Blog4sem

Optimiser la recherche sémantique vidéo avec la distillation de modèles Amazon Nova sur Amazon Bedrock

Résumé IASource uniqueImpact UE

Amazon Web Services a publié un tutoriel détaillé expliquant comment utiliser la technique de distillation de modèles sur Amazon Bedrock pour optimiser les systèmes de recherche sémantique vidéo. Le cœur du problème : les modèles de grande taille comme Claude Haiku d'Anthropic offrent une excellente précision pour interpréter l'intention de recherche des utilisateurs, mais ils allongent le temps de réponse à 2 à 4 secondes, représentant à eux seuls 75 % de la latence totale. La solution proposée consiste à transférer l'intelligence de routage d'un grand modèle dit "enseignant", Amazon Nova Premier, vers un modèle beaucoup plus léger dit "étudiant", Amazon Nova Micro. Le résultat : une réduction des coûts d'inférence de plus de 95 % et une baisse de la latence de 50 %, sans sacrifier la qualité de routage.

L'enjeu est considérable pour les entreprises qui gèrent de larges catalogues vidéo. Lorsqu'un utilisateur tape "Olivia qui parle de son enfance dans la pauvreté", le système doit décider automatiquement quels aspects de la vidéo interroger en priorité : les métadonnées textuelles, la transcription audio, les données visuelles ou les informations structurées. Cette logique de routage devient rapidement complexe à l'échelle enterprise, où les attributs peuvent inclure les angles de caméra, le sentiment, les droits de diffusion ou des taxonomies métier propriétaires. Un modèle plus petit et distillé qui maîtrise cette tâche précise permet de traiter davantage de requêtes simultanément, à un coût marginal quasi nul, ce qui change fondamentalement l'équation économique des moteurs de recherche multimodaux.

La distillation de modèles se distingue du fine-tuning supervisé classique par un avantage pratique majeur : elle ne nécessite pas de dataset entièrement étiqueté par des humains. Amazon Bedrock génère automatiquement jusqu'à 15 000 paires prompt-réponse en interrogeant le modèle enseignant, en appliquant des techniques de synthèse et d'augmentation de données. Dans ce pipeline, 10 000 exemples synthétiques ont été produits via Nova Premier, chargés sur Amazon S3, puis utilisés pour entraîner Nova Micro. Le modèle résultant est ensuite évalué via Amazon Bedrock Model Evaluation, comparé à la base Nova Micro et au Claude Haiku original. AWS a publié l'intégralité du notebook Jupyter, le script de génération des données et les utilitaires d'évaluation sur GitHub, rendant cette approche reproductible pour toute équipe souhaitant industrialiser la recherche vidéo à grande échelle.

Dans nos dossiers

Anthropic

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

1AWS ML Blog

Recherche sémantique vidéo avec Amazon Nova Multimodal Embeddings

Amazon a lancé Nova Multimodal Embeddings, un modèle d'embedding unifié disponible sur Amazon Bedrock, capable de traiter simultanément du texte, des images, de la vidéo et de l'audio dans un espace vectoriel sémantique commun. L'objectif est de résoudre un problème concret qui freine l'industrie audiovisuelle : permettre de rechercher dans des vidéos par le sens, et non par des mots-clés exacts. Concrètement, le modèle génère des vecteurs de 1 024 dimensions qui encodent à la fois les signaux visuels et audio d'un segment vidéo, stockés ensuite dans Amazon S3. L'architecture de référence publiée par Amazon combine une phase d'ingestion en six étapes, upload dans S3, découpage en plans via FFmpeg sur AWS Fargate, traitement parallèle avec embeddings visuels/audio, transcription via Amazon Transcribe, et détection de célébrités via Amazon Rekognition, et une phase de recherche hybride qui fusionne recherche sémantique et lexicale pour produire une liste de résultats classés. L'enjeu est majeur pour tous les secteurs qui gèrent des bibliothèques vidéo volumineuses. Une chaîne sportive peut désormais retrouver instantanément le moment précis où un joueur marque, un studio peut identifier chaque scène d'un acteur dans des milliers d'heures d'archives, et une rédaction peut extraire des images par ambiance, lieu ou événement pour publier plus vite que ses concurrents. Ce qui change fondamentalement, c'est que la recherche n'est plus limitée au dialogue ou aux métadonnées textuelles : une requête comme "une course-poursuite tendue avec des sirènes" retrouve à la fois l'événement visuel et l'événement sonore sans que l'un ou l'autre ait besoin d'être transcrit. La précision de recherche s'améliore donc sur les contenus riches en action, en musique ou en sons d'ambiance, là où les approches textuelles échouaient systématiquement. L'approche dominante jusqu'ici consistait à convertir toute la vidéo en texte, transcription automatique, sous-titrage, tags manuels, puis à appliquer des embeddings textuels classiques. Cette méthode souffre de deux limites structurelles : la dimension temporelle disparaît dans la conversion, et les erreurs de transcription se propagent dès que la qualité audio ou visuelle est insuffisante. Amazon positionne Nova Multimodal Embeddings comme une rupture avec ce paradigme, en traitant nativement toutes les modalités sans passer par le texte comme pivot. Le modèle s'inscrit dans une compétition directe avec les offres multimodales de Google et OpenAI sur le segment des embeddings haute précision. Amazon met à disposition une implémentation de référence déployable, signalant une volonté de s'imposer rapidement comme infrastructure de référence pour la recherche vidéo à grande échelle.

UELes entreprises et médias européens gérant de grandes bibliothèques vidéo sur AWS peuvent désormais implémenter une recherche sémantique multimodale native sans infrastructure supplémentaire.

OutilsOpinion

1 source

2AWS ML Blog

Utiliser RAG pour la génération vidéo avec Amazon Bedrock et Amazon Nova Reel

Amazon a développé un pipeline multimodal appelé VRAG (Video Retrieval Augmented Generation) qui génère des vidéos personnalisées en combinant récupération d'images et génération par IA. La solution utilise Amazon Bedrock, Amazon Nova Reel et OpenSearch : l'utilisateur fournit un objet d'intérêt et une instruction de caméra (ex. « rotation dans le sens horaire »), le système retrouve l'image la plus pertinente depuis un index vectoriel et génère la vidéo correspondante. Le traitement par lot via un fichier prompts.txt permet de produire plusieurs vidéos en une seule exécution, offrant une base scalable pour la création de contenu vidéo assistée par IA dans des secteurs comme la publicité, l'éducation ou le jeu vidéo.

OutilsOutil

1 source

3AWS ML Blog

Amazon Nova Embeddings : construire un moteur de recherche audio intelligent par analyse sémantique

Amazon a lancé le 28 octobre 2025 Amazon Nova Multimodal Embeddings, un modèle d'embedding unifié disponible via Amazon Bedrock, capable de traiter simultanément du texte, des documents, des images, des vidéos et de l'audio au sein d'un seul et même système. Concrètement, ce modèle convertit n'importe quel contenu audio en vecteurs numériques denses dans un espace à haute dimension, avec quatre options de taille : 3 072 dimensions (par défaut), 1 024, 384 ou 256. Chaque vecteur encode à la fois les propriétés acoustiques d'un son, rythme, hauteur tonale, timbre, couleur émotionnelle, et son sens sémantique. Deux extraits musicaux similaires, par exemple un violon et un violoncelle jouant la même mélodie, obtiendront une similarité cosinus de 0,87, les plaçant proches dans cet espace vectoriel, tandis qu'un morceau de rock avec batterie n'obtiendra que 0,23 face à ces mêmes clips. L'enjeu est considérable pour tous ceux qui gèrent de grandes bibliothèques audio : studios de production, plateformes de podcast, services de streaming, équipes de post-production. Les méthodes traditionnelles, transcription manuelle, balisage de métadonnées, conversion parole-texte, ne capturent que le contenu linguistique. Elles sont aveugles aux propriétés acoustiques pures : l'ambiance d'une pièce, l'émotion dans une voix, le genre musical, les sons environnementaux. Nova Multimodal Embeddings comble ce vide en permettant des requêtes en langage naturel comme "musique mélancolique avec piano" ou "bruit de foule dans un stade", sans qu'aucune transcription préalable ne soit nécessaire. Le résultat est une recherche sémantique sur le son lui-même, pas seulement sur ses métadonnées. Le modèle repose sur une technique appelée Matryoshka Representation Learning (MRL), qui structure les embeddings de façon hiérarchique, à la manière des poupées russes : un vecteur de 3 072 dimensions contient toute l'information, mais on peut tronquer aux 256 premières dimensions et conserver des résultats précis. Cela permet de générer les embeddings une seule fois, puis d'ajuster la taille selon les contraintes de coût de stockage ou de performance, sans retraiter l'audio. Cette approche s'inscrit dans la tendance plus large des modèles d'embedding multimodaux unifiés, où Amazon rivalise directement avec Google (Vertex AI Embeddings) et OpenAI (CLIP, Whisper). L'intégration native dans Bedrock facilite le déploiement en production via des bases de données vectorielles compatibles k-NN. La prochaine étape logique sera l'intégration de ces capacités dans des pipelines RAG (retrieval-augmented generation) pour des agents conversationnels capables de répondre à des questions sur du contenu audio sans intervention humaine préalable.

UELes studios de production, plateformes de podcast et services de streaming européens peuvent intégrer cette API via Amazon Bedrock pour améliorer leurs moteurs de recherche audio sémantique.

OutilsOutil

1 source

4AWS ML Blog

Génération SQL à partir de texte : une approche économique avec Amazon Nova Micro et Bedrock

Amazon Web Services propose une nouvelle approche pour déployer des modèles de langage spécialisés dans la génération de requêtes SQL à partir du langage naturel, en combinant l'optimisation LoRA (Low-Rank Adaptation) avec l'inférence serverless d'Amazon Bedrock. Le modèle ciblé est Amazon Nova Micro, un modèle fondation léger disponible sur Bedrock. La solution a été testée sur un volume de 22 000 requêtes mensuelles pour un coût de seulement 0,80 dollar par mois, contre des dépenses bien supérieures avec une infrastructure hébergée en permanence. Deux chemins d'implémentation distincts sont proposés : l'un via la personnalisation gérée d'Amazon Bedrock, l'autre via des jobs d'entraînement Amazon SageMaker AI pour un contrôle plus fin des hyperparamètres. Les deux options convergent vers le même pipeline de déploiement sur Bedrock en inférence à la demande. Le jeu de données utilisé pour la démonstration est sql-create-context, une combinaison des datasets WikiSQL et Spider comprenant plus de 78 000 exemples de questions en langage naturel associées à des requêtes SQL de complexité variable. L'enjeu principal est économique : les modèles fine-tunés nécessitent traditionnellement une infrastructure dédiée tournant en continu, même en l'absence de trafic, ce qui génère des coûts fixes importants. Le modèle pay-per-token d'Amazon Bedrock élimine ce gaspillage en ne facturant que les tokens réellement traités. Pour les entreprises avec des dialectes SQL maison ou des schémas métier très spécifiques, cette combinaison rend accessible la personnalisation des LLMs sans engager de budget infrastructure significatif. Les équipes techniques gagnent également en simplicité opérationnelle : pas de gestion de serveurs, pas de scaling manuel, pas de surveillance d'infrastructure GPU. La génération SQL par IA est un cas d'usage critique en entreprise, car elle permet à des utilisateurs non-techniques d'interroger des bases de données en langage naturel. Les modèles généralistes gèrent bien le SQL standard, mais échouent sur les dialectes propriétaires ou les schémas complexes propres à chaque organisation. Le fine-tuning résout ce problème, mais introduisait jusqu'ici un compromis coûteux. AWS positionne ici Bedrock comme une infrastructure mutualisée capable d'héberger des adaptateurs LoRA à la demande, une approche qui pourrait devenir un standard pour les déploiements d'IA spécialisée à faible volume. La maturité croissante des outils de personnalisation cloud laisse entrevoir une généralisation de ce modèle économique à d'autres tâches NLP d'entreprise.

UELes entreprises européennes hébergées sur AWS peuvent adopter cette architecture serverless pour réduire leurs coûts de déploiement de modèles SQL spécialisés, Bedrock étant disponible dans les régions EU.

OutilsOutil

1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour