NVIDIA lance TensorRT Model Connect en preview publique : de Hugging Face au C++ natif en deux commandes
NVIDIA a publié TensorRT Model Connect (TRTMC) en préversion publique, un projet open source disponible sous licence Apache 2.0 qui permet de transformer un checkpoint Hugging Face ou local en inférence TensorRT native en seulement deux commandes, sans passer par l'étape intermédiaire d'export ONNX. La démonstration de démarrage rapide compile et exécute le modèle Qwen3-0.6B via les commandes trtmc build et trtmc run, produisant un artefact versionné au format .bundle exécutable ensuite depuis du code C++ natif grâce à des API dédiées comme generate(), transcribe(), generateimage(), embed() et solve(). Fait notable, NVIDIA précise que l'intégralité du projet (implémentations de modèles, optimisation des performances, tests, intégrations et documentation) a été construite à l'aide d'agents OpenAI Codex sous supervision humaine. Un instantané de performance daté du 29 juillet 2026, réalisé sur des puces GB300, couvre 105 profils répartis sur 76 familles de modèles, dont 102 dépassent de plus de 5% leur référence déclarée. Les wheels de version ne ciblent aujourd'hui que Linux aarch64, avec Python 3.10 ou 3.12, glibc 2.39 minimum et TensorRT 11.1.0.106 ; les utilisateurs x8664 doivent passer par une compilation source via Docker.
Résumé et traduction réalisés par Le Fil IA à partir de MarkTechPost. Lire l'article original →
Cette évolution s'adresse directement aux équipes qui gèrent déjà leur propre pile d'inférence et qui ont besoin de faire tourner des modèles d'IA à l'intérieur d'un binaire C++, sans dépendance à Python ou PyTorch au moment de l'exécution. Cela concerne en priorité la robotique, l'automatisation industrielle, l'informatique embarquée automobile, les dispositifs médicaux, les systèmes de périphérie pour la défense et l'aérospatiale, ainsi que le traitement média. Pour ces secteurs, l'outil simplifie une chaîne de conversion historiquement fragile : NVIDIA cible explicitement les défauts du parcours classique PyTorch vers ONNX ou TorchScript puis TensrRT, notamment les lacunes d'export, l'intégration répétée modèle par modèle, et la validation éclatée entre plusieurs artefacts de conversion. En revanche, les petites équipes qui déploient un simple service Python tirent moins de bénéfice de cette approche, et les entreprises soumises à des exigences réglementaires strictes sont invitées à patienter jusqu'à une version taguée avant de l'adopter en production.
L'outil illustre une tendance plus large dans l'industrie de l'inférence IA : la volonté de réduire la complexité des chaînes de déploiement en éliminant les étapes de conversion intermédiaires génératrices d'erreurs. En séparant clairement la phase de construction, gérée en Python avec la résolution du checkpoint et la construction du moteur TensorRT, de la phase d'exécution native en C++, NVIDIA cherche à rendre l'artefact final auditable via la commande trtmc inspect, qui expose le type de bundle, la famille du modèle, la précision et les moteurs utilisés. Le recours annoncé à des agents d'IA générative pour construire l'essentiel du projet, y compris les tests et la documentation, marque également une étape dans l'usage de ces outils pour le développement de logiciels d'infrastructure critique. La suite dépendra de l'élargissement du support matériel au-delà de Linux aarch64, notamment vers x86_64 en version binaire directe, ainsi que de la publication d'une version stable taguée susceptible de rassurer les entreprises les plus prudentes sur l'adoption de cette nouvelle chaîne d'inférence.
Les equipes europeennes de robotique, d'automobile et d'aerospatiale pourraient tester cet outil pour simplifier l'inference embarquee, mais aucune entreprise francaise ou europeenne n'est citee dans l'article.
Deux commandes pour passer d'un checkpoint Hugging Face à du C++ natif sans ONNX, c'est exactement le genre de friction qu'on traînait depuis des années sur les déploiements embarqués. Le détail qui compte plus que l'outil lui-même : NVIDIA dit avoir fait construire tout le projet, tests et doc compris, par des agents Codex sous supervision humaine, ça veut dire qu'on entre dans l'ère où l'infra critique n'est plus écrite par des humains en premier jet. Bon, sur le papier c'est propre, mais tant que ça reste en preview et coincé sur Linux aarch64, les équipes réglementées feront bien d'attendre la version taguée avant d'y toucher.