On a testé le MacBook Pro M5 Pro avec 48 Go de RAM : la config parfaite pour de l’IA locale ?

Test du Nvidia DGX Spark (Dell) : le mini PC IA à 128 Go de RAM

Nvidia a lancé le DGX Spark, un mini PC dédié à l'intelligence artificielle locale, testé ici dans sa version assemblée par Dell sous le label Pro Max. Au cœur de la machine se trouve la puce maison GB10 Grace Blackwell Superchip, couplée à 128 Go de mémoire unifiée partagée entre le CPU et le GPU. Le tout tient dans un boîtier compact comparable à un Mac Mini, pour un tarif qui démarre autour de 3 000 dollars selon les configurations. Ce facteur de forme cache une puissance de calcul jusqu'ici réservée aux serveurs de datacenter : le DGX Spark est capable de faire tourner des modèles de langage de 70 milliards de paramètres et plus directement en local, sans dépendre du cloud. Pour les chercheurs, développeurs et entreprises soucieuses de confidentialité ou de latence, c'est un changement de paradigme concret. La mémoire unifiée de 128 Go élimine le goulot d'étranglement qui rendait ces modèles inaccessibles sur du matériel grand public. Le DGX Spark s'inscrit dans une offensive plus large de Nvidia pour étendre son emprise au-delà des grands clusters GPU, face à la montée en puissance des puces Apple Silicon M4 Ultra qui misent sur la même architecture de mémoire unifiée. Annoncé au CES 2025, le Spark cible une clientèle professionnelle et académique qui veut l'autonomie du local sans sacrifier la performance. Nvidia le positionne également comme point d'entrée vers son écosystème DGX, dont les versions rack coûtent des centaines de milliers de dollars.

💬 128 Go de mémoire unifiée pour faire tourner un 70B en local, c'est le verrou qui saute. Nvidia a regardé ce qu'Apple faisait avec le M-Series et a poussé le même concept bien plus loin, sur une puce qui cible les workloads sérieux. 3 000 dollars c'est pas donné, mais pour une boîte qui veut garder ses données chez elle sans louer du GPU à la journée, le calcul se fait vite.

Repenser le coût total de l'IA : pourquoi le coût par token est la seule métrique qui compte

Les centres de données d'entreprise sont en train de vivre une mutation profonde : autrefois dédiés au stockage et au traitement de données, ils deviennent des usines à tokens, dont la production principale est l'intelligence artificielle générée à la demande. Cette transformation oblige les entreprises à repenser entièrement leur manière d'évaluer le coût total de possession (TCO) de leur infrastructure IA. Or, selon NVIDIA, la majorité des décideurs continuent de se focaliser sur des métriques obsolètes : le coût par GPU par heure ou les FLOPS par dollar, c'est-à-dire la puissance brute de calcul obtenue pour chaque dollar investi. Ces indicateurs mesurent des intrants, alors que les entreprises, elles, font tourner leur activité sur des extrants. La seule métrique qui compte réellement est le coût par million de tokens produits, soit le coût tout compris pour générer chaque unité d'intelligence délivrée à l'utilisateur final. Optimiser ce coût par token change fondamentalement l'équation économique de l'IA. Le numérateur de cette équation, le coût horaire du GPU, est visible et facile à comparer entre fournisseurs cloud ou solutions on-premise. Mais c'est le dénominateur, soit le volume de tokens effectivement délivrés par seconde, qui détermine la rentabilité réelle. Augmenter ce débit produit deux effets simultanés : il réduit le coût unitaire de chaque interaction servie, améliorant ainsi les marges, et il augmente le nombre de tokens par mégawatt consommé, ce qui permet de générer davantage de revenus à partir du même investissement infrastructurel. NVIDIA affirme proposer le coût par token le plus bas du secteur, notamment sur les modèles de raisonnement de type mixture-of-experts (MoE), qui représentent aujourd'hui la catégorie de modèles la plus largement déployée en production. Cette réévaluation des critères de choix s'inscrit dans un contexte de montée en puissance de l'IA agentique, où les systèmes autonomes enchaînent des séquences longues d'inférences, rendant le débit et la latence encore plus critiques. Des technologies comme le décodage spéculatif, la prédiction multi-token, le routage KV-aware ou encore le déchargement du cache KV permettent d'augmenter substantiellement le débit réel sans changer le matériel. La prise en charge de la précision FP4, la capacité de l'interconnexion à gérer le trafic all-to-all des modèles MoE, ou encore les optimisations de la couche de serving deviennent des critères de sélection déterminants. Pour les déploiements on-premise notamment, où l'engagement en capital sur le foncier, l'énergie et l'infrastructure est massif, maximiser l'intelligence produite par mégawatt n'est plus une option technique mais un impératif économique.

Reconstruire la pile de données pour l'IA

L'intelligence artificielle occupe désormais le sommet des priorités des directions d'entreprise, mais une réalité s'impose de plus en plus clairement : le principal frein à une adoption concrète n'est pas la technologie elle-même, mais l'état des données. Bavesh Patel, vice-président senior chez Databricks, résume le problème sans détour : "La qualité de l'IA, son efficacité réelle, dépend directement de l'information disponible dans votre organisation." Or dans la grande majorité des entreprises, cette information reste dispersée entre des systèmes hérités, des applications cloisonnées et des formats incompatibles. Sans infrastructure unifiée, les modèles d'IA produisent des résultats peu fiables, dépourvus de contexte, ce que Patel qualifie simplement de "terrible AI". La solution passe par une consolidation des données dans des formats ouverts, une gouvernance rigoureuse des accès, et une architecture capable de combiner données structurées et non structurées en temps réel. L'enjeu est directement compétitif. Pour Patel, "le vrai différenciateur concurrentiel de la plupart des organisations, c'est leur propre data, combinée aux données tierces qu'elles peuvent y ajouter". Les entreprises qui parviennent à poser ces fondations correctement débloquent des gains mesurables : automatisation de workflows complexes, efficacité opérationnelle accrue, voire création de nouvelles lignes de revenus. Rajan Padmanabhan, responsable technologique chez Infosys, insiste sur la nécessité de relier chaque initiative IA à des indicateurs business précis, plutôt que de traiter ces projets comme des expérimentations isolées. Les entreprises les plus avancées utilisent des cadres de gouvernance pour identifier rapidement ce qui produit des résultats concrets et abandonner ce qui n'en produit pas, une discipline que peu d'organisations ont encore intégrée dans leur fonctionnement quotidien. Cette transformation s'inscrit dans un changement de paradigme plus profond. Pendant des décennies, les systèmes d'information ont été conçus comme des outils d'exécution ou d'engagement. Padmanabhan décrit une nouvelle logique en train d'émerger : "des systèmes d'action", capables de décider et d'agir de manière autonome. C'est précisément la promesse des agents IA, qui évoluent de simples assistants vers des opérateurs autonomes gérant des flux de travail et des transactions entières. Mais cette évolution suppose que les données sous-jacentes soient fiables, accessibles et gouvernées, une condition que la plupart des grandes entreprises ne remplissent pas encore. La question n'est donc plus de savoir si l'IA va transformer l'entreprise, mais si les organisations sauront construire l'infrastructure de données nécessaire avant que la fenêtre d'opportunité ne se referme sur celles qui auront avancé plus vite.

Réservez de la capacité GPU à court terme pour vos workloads ML avec EC2 Capacity Blocks et SageMaker

Amazon Web Services propose deux solutions complémentaires pour sécuriser de la capacité GPU à court terme : les EC2 Capacity Blocks for ML et les SageMaker training plans. Les Capacity Blocks permettent de réserver un nombre précis d'instances GPU pour une fenêtre temporelle définie, jusqu'à huit semaines à l'avance, avec des durées allant de 1 à 14 jours (par paliers d'un jour) ou de 15 à 182 jours (par paliers de sept jours). Chaque bloc peut couvrir jusqu'à 64 instances d'un même type, et une organisation peut cumuler jusqu'à 256 instances sur une même date en combinant plusieurs blocs au sein d'AWS Organizations. Contrairement aux réservations de capacité à la demande classiques (ODCR), ces Capacity Blocks sont entièrement en libre-service et affichent une décote de 40 à 50 % par rapport aux tarifs à la demande, tout en offrant une bien meilleure disponibilité pour les instances de type P, particulièrement recherchées. Ces solutions répondent à un besoin concret et pressant : la demande mondiale de GPU pour l'entraînement, le fine-tuning et l'inférence de modèles d'intelligence artificielle dépasse largement l'offre disponible. Pour les équipes qui ont besoin de GPU de manière ponctuelle, que ce soit pour des tests de charge, la validation de modèles, des ateliers techniques ou la préparation d'une mise en production, les options existantes présentent des limites sérieuses. Les instances à la demande ne garantissent pas la disponibilité au moment du lancement, et relâcher une instance peut signifier ne plus pouvoir la récupérer. Les instances Spot, bien que jusqu'à 90 % moins chères, peuvent être interrompues à tout moment par AWS. Les Capacity Blocks éliminent cette incertitude : la capacité est garantie pendant toute la durée réservée, ce qui permet de planifier des workloads critiques en temps contraint sans risque de pénurie de ressources. Cette pénurie de GPU n'est pas nouvelle : depuis l'explosion des usages d'IA générative à partir de 2023, les grands hyperscalers comme AWS, Google Cloud et Microsoft Azure font face à une concurrence intense pour l'acquisition et la mise à disposition de puces Nvidia H100 et autres accélérateurs. AWS avait introduit les Capacity Blocks dès 2023 pour les instances P5, mais l'offre s'est depuis progressivement élargie. L'intégration avec les SageMaker training plans vise à couvrir également les usages managés, où AWS gère l'infrastructure sous-jacente. À terme, ces mécanismes de réservation structurée devraient devenir la norme pour toute organisation menant des expérimentations ML d'envergure, car ils permettent de concilier agilité opérationnelle et maîtrise des coûts sans recourir à des contrats pluriannuels.