Réponse : "Interrogations performantes pour les files d'attente : optimisation des systèmes de Machine Learning à grande échelle

Gemini 3.1 Flash-Lite : Conçu pour l'intelligence à grande échelle

Gemini 3.1 Flash-Lite est le modèle le plus rapide et le plus économique de la série Gemini 3. Il a été conçu pour optimiser l'intelligence à grande échelle.

Comment Descript facilite le doublage de vidéos multilingues à grande échelle

Descript utilise les modèles d'OpenAI pour élargir le dublage vidéo multilingue, optimisant les traductions en termes de sens et de synchronisation afin que le dublage sonne naturel dans différentes langues. Cette approche permet de produire des contenus multilingues à grande échelle tout en maintenant la qualité et la fluidité du discours.

Thinking Machines présente des modèles d'interaction pour des conversations vocales et vidéo en quasi-temps réel

Thinking Machines, la startup d'intelligence artificielle fondée par Mira Murati, ex-directrice technique d'OpenAI, et John Schulman, co-fondateur et ancien chercheur de la même entreprise, a dévoilé cette semaine un aperçu de recherche de ce qu'elle appelle des "modèles d'interaction", une nouvelle catégorie de systèmes multimodaux natifs conçus pour répondre en quasi-temps réel. Le modèle présenté, TML-Interaction-Small, repose sur une architecture de type Mixture-of-Experts (MoE) de 276 milliards de paramètres, dont seulement 12 milliards sont actifs simultanément. Il traite des blocs d'entrée et de sortie de 200 millisecondes en parallèle, ce qu'on appelle le "full duplex", permettant au système d'écouter, de parler et de voir en même temps. La startup précise qu'un aperçu limité sera ouvert dans les prochains mois pour collecter des retours, suivi d'une mise à disposition plus large d'ici la fin de l'année. Ce que Thinking Machines cherche à résoudre est un problème structurel de tous les grands modèles actuels : leur incapacité à fonctionner autrement qu'en mode "tour par tour", où l'IA attend que l'utilisateur ait terminé avant de commencer à traiter, puis se fige pendant qu'elle génère une réponse. Cette contrainte force les utilisateurs à reformuler leurs pensées comme des emails, à tout regrouper en une seule requête. Avec une architecture "full duplex", le modèle peut interrompre naturellement, réagir à un signal visuel comme un bug dans un extrait de code, ou accueillir un interlocuteur qui entre dans le champ d'une vidéo, des comportements qui rendent l'interaction beaucoup plus proche d'une conversation humaine réelle. Les résultats sur les benchmarks tiers contre les modèles d'interaction rapide des autres grands laboratoires sont décrits comme convaincants, même si les détails précis restent à paraître. Techniquement, le système s'écarte des pipelines conventionnels en abandonnant les encodeurs audio massifs comme Whisper au profit d'une fusion précoce sans encodeur, ingérant directement les signaux audio bruts sous forme dMel et des patches d'image de 40x40 pixels via une couche d'embedding légère, le tout co-entraîné au sein du transformer. Le système repose sur deux composants distincts : un "modèle d'interaction" qui gère le dialogue en continu, et un "modèle de fond" asynchrone chargé des raisonnements prolongés, de la navigation web ou des appels d'outils complexes, dont les résultats sont réintégrés fluidement dans la conversation. Thinking Machines s'inscrit dans une course qui voit OpenAI, Google et d'autres investir massivement dans les modèles temps réel depuis 2024, mais revendique une approche architecturale de premier niveau plutôt qu'un simple habillage logiciel, un pari technologique dont la portée réelle ne sera mesurable qu'à l'ouverture du preview public.

Thinking Machines lance Inkling Small, un modèle open source proche des performances de son prédécesseur pour environ un quart de sa taille

La startup Thinking Machines, dirigée par l'ancienne directrice technique d'OpenAI Mira Murati, a dévoilé Inkling-Small, un nouveau modèle d'intelligence artificielle open source, seulement deux semaines après le lancement de son premier modèle, Inkling. Inkling-Small compte 276 milliards de paramètres, contre 975 milliards pour son prédécesseur, mais n'utilise que 12 milliards de paramètres actifs par token, contre 41 milliards pour Inkling. Distribué sous licence permissive Apache 2.0, ce modèle multimodal accepte du texte, des images et de l'audio en entrée, produit du texte en sortie, et gère une fenêtre de contexte allant jusqu'à un million de tokens. Sur l'index d'intelligence de référence publié par Artificial Analysis, il obtient un score de 40, contre 41 pour Inkling, un écart minime qui en fait, selon l'organisme, le modèle open source le plus performant à cette taille ou en dessous. Les poids complets sont disponibles sur Hugging Face, avec un support pour le fine-tuning via l'API Tinker de l'entreprise, et un tarif de lancement réduit de 50%, soit 0,58 dollar par million de tokens en entrée, 1,44 dollar par million de tokens générés et 1,73 dollar par million de tokens d'entraînement pour la version standard à 64000 tokens de contexte. Pour les entreprises, l'intérêt ne réside pas seulement dans la taille réduite du modèle, mais dans le fait qu'il conserve l'essentiel des capacités de son grand frère tout en réduisant nettement les besoins en calcul, les coûts d'inférence et l'empreinte de déploiement. Inkling-Small dépasse même Inkling sur plusieurs benchmarks techniques, avec 80,2% contre 77,6% sur SWE-bench Verified et 64,7% contre 63,8% sur Terminal Bench 2.1, ce qui en fait un candidat solide pour les assistants de codage, les systèmes d'outils automatisés ou l'analyse documentaire. Cette avancée reste toutefois inégale: sur les tâches nécessitant des connaissances factuelles ou certains usages agentiques, comme le benchmark bancaire τ³-Banking où il chute à 15,5% contre 23,7% pour Inkling, le modèle marque un net recul, ce qui impose aux entreprises de maintenir des mécanismes de vérification et de relecture humaine pour les usages à fort enjeu. Sur le plan technique, Inkling-Small repose sur une architecture de type mélange d'experts, avec un décodeur à 42 couches qui redirige chaque token vers six experts spécialisés parmi un ensemble de 256, complétés par deux experts partagés qui restent actifs en permanence. Cette conception explique l'écart entre ses 276 milliards de paramètres totaux et ses 12 milliards de paramètres réellement mobilisés à chaque calcul. Elle illustre une tendance plus large du secteur de l'IA générative, où les laboratoires cherchent désormais à comprimer les performances des grands modèles dans des architectures plus légères et moins coûteuses à exploiter, sans sacrifier la compétitivité face aux modèles propriétaires fermés.

💬 Bon, sur le papier c'est exactement le genre de compression qu'on attendait : un quart de la taille, un tiers des paramètres actifs, et l'essentiel des perfs qui suit, voire dépasse le modèle d'origine sur le code (SWE-bench, Terminal Bench). Mais la chute sur τ³-Banking (15,5% contre 23,7%) dit un truc important qui dépasse Thinking Machines : compresser un modèle, ça ne rétrécit pas uniformément ses capacités, ça les découpe de façon inégale, et personne ne sait encore prédire quelles compétences sautent en premier. Pour une boîte qui veut déployer ça en prod sur des tâches à enjeu, ça reste un pari, pas un remplacement automatique.