On a testé le MacBook Pro M5 Pro avec 48 Go de RAM : la config parfaite pour de l’IA locale ?

Une tour à 15 274 €, deux GPU AMD et aucun abonnement cloud : on a testé l’IA locale à son maximum [Sponso]

Une configuration à 15 274 euros, assemblée sous un bureau et équipée de deux cartes graphiques AMD, a été testée pour évaluer ce qu'une machine dédiée à l'intelligence artificielle peut réellement accomplir en local, sans recourir au moindre service cloud. L'objectif de ce test, mené en collaboration avec AMD, était de faire fonctionner une chaîne complète de production logicielle d'IA, de l'entraînement à l'inférence, entièrement sur du matériel physique installé chez l'utilisateur. Le contenu a été produit par les rédacteurs indépendants de l'entité Humanoid xp, sans intervention de la rédaction de Numerama, dans le cadre d'un partenariat commercial clairement identifié. Cette démarche illustre un intérêt croissant pour les infrastructures d'IA locales, à contre-courant du modèle dominant fondé sur les abonnements aux plateformes cloud comme AWS, Azure ou Google Cloud. Pour les professionnels et les entreprises soucieux de maîtriser leurs coûts récurrents, leurs données sensibles ou leur dépendance à des fournisseurs tiers, une tour équipée de GPU AMD représente une alternative tangible, même si l'investissement initial reste conséquent. Cela change la donne pour les studios, les chercheurs ou les PME qui veulent expérimenter avec des modèles d'IA sans exposer leurs données à des serveurs externes ni subir la facturation à l'usage. Le marché du matériel dédié à l'IA locale s'est intensifié ces dernières années, porté par la demande de puissance de calcul pour l'entraînement et l'inférence de modèles toujours plus lourds. AMD y voit une opportunité de concurrencer Nvidia, acteur dominant du secteur, en misant sur des configurations multi-GPU accessibles aux particuliers avertis et aux petites structures. Ce type de démonstration commerciale s'inscrit dans une bataille plus large pour convaincre les utilisateurs que l'IA locale peut rivaliser, en performance comme en autonomie, avec les offres cloud des géants du secteur.

💬 Une tour à 15 000 balles pour causer IA sans dépendre du cloud, c'est le genre de démo commerciale qu'on regarde avec un sourcil levé, financée par AMD pour vendre du multi-GPU. Mais le vrai signal derrière, c'est que le prix d'entrée pour sortir du modèle abonnement-cloud devient un calcul économique sérieux, pas juste un fantasme de geek paranoïaque des données. Reste à voir si une PME normale a vraiment besoin de ça, parce que pour la plupart, un bon abonnement API reste largement moins cher que d'amortir une tour à cinq chiffres.

Test du Nvidia DGX Spark : le mini PC IA 128 Go

Nvidia a lancé le DGX Spark, un mini PC dédié à l'intelligence artificielle locale, testé ici dans sa version assemblée par Dell sous le label Pro Max. Au cœur de la machine se trouve la puce maison GB10 Grace Blackwell Superchip, couplée à 128 Go de mémoire unifiée partagée entre le CPU et le GPU. Le tout tient dans un boîtier compact comparable à un Mac Mini, pour un tarif qui démarre autour de 3 000 dollars selon les configurations. Ce facteur de forme cache une puissance de calcul jusqu'ici réservée aux serveurs de datacenter : le DGX Spark est capable de faire tourner des modèles de langage de 70 milliards de paramètres et plus directement en local, sans dépendre du cloud. Pour les chercheurs, développeurs et entreprises soucieuses de confidentialité ou de latence, c'est un changement de paradigme concret. La mémoire unifiée de 128 Go élimine le goulot d'étranglement qui rendait ces modèles inaccessibles sur du matériel grand public. Le DGX Spark s'inscrit dans une offensive plus large de Nvidia pour étendre son emprise au-delà des grands clusters GPU, face à la montée en puissance des puces Apple Silicon M4 Ultra qui misent sur la même architecture de mémoire unifiée. Annoncé au CES 2025, le Spark cible une clientèle professionnelle et académique qui veut l'autonomie du local sans sacrifier la performance. Nvidia le positionne également comme point d'entrée vers son écosystème DGX, dont les versions rack coûtent des centaines de milliers de dollars.

💬 128 Go de mémoire unifiée pour faire tourner un 70B en local, c'est le verrou qui saute. Nvidia a regardé ce qu'Apple faisait avec le M-Series et a poussé le même concept bien plus loin, sur une puce qui cible les workloads sérieux. 3 000 dollars c'est pas donné, mais pour une boîte qui veut garder ses données chez elle sans louer du GPU à la journée, le calcul se fait vite.

Apple relance son offensive pour une IA locale, sans passer par le cloud

Lors de sa conférence annuelle des développeurs (WWDC), prévue le mois prochain, Apple devrait mettre en avant une série de mises à jour d'intelligence artificielle très attendues pour l'iPhone, tout en insistant sur une capacité souvent sous-estimée : celle de faire tourner des modèles d'IA directement sur ses appareils, sans passer par le cloud. Selon des personnes proches des plans de l'entreprise, Apple entend démontrer comment ses 15 ans d'expérience dans la conception de puces personnalisées pour l'iPhone, l'Apple Watch et les Mac lui confèrent un avantage concret pour exécuter des modèles d'IA localement. Cette approche contraste avec la norme du secteur, où la plupart des traitements IA s'effectuent dans des datacenters remplis de puces coûteuses. Certaines requêtes resteront néanmoins traitées dans le cloud, notamment celles qui nécessitent une complexité élevée ou un accès à de vastes bases de données en ligne : dans le cadre d'un accord avec Google, une nouvelle version de Siri fera tourner certaines requêtes sur Google Cloud, via une version sous licence du modèle Gemini. Apple a par ailleurs récemment approuvé une technologie de confidentialité développée par Nvidia pour cet environnement, ce qui suggère que l'entreprise utilisera également des puces Nvidia pour une partie de ses besoins de calcul dans Google Cloud. L'enjeu de l'IA embarquée est considérable : exécuter des modèles localement réduit la latence, améliore la confidentialité des données et diminue la dépendance à des infrastructures cloud onéreuses. Avec des milliards d'appareils Apple en circulation, la capacité à distribuer des traitements IA à cette échelle représente un levier différenciant face à des concurrents comme Google, Microsoft ou OpenAI, dont les offres reposent quasi exclusivement sur des serveurs distants. Apple accuse un retard significatif sur ses rivaux dans la course à l'IA générative. La WWDC du mois prochain sera donc un moment clé pour démontrer que la maîtrise du matériel, via ses puces Apple Silicon, peut constituer une réponse crédible à ce retard. La coexistence d'une stratégie on-device et d'un recours au cloud via des partenaires comme Google et Nvidia illustre la complexité de la position d'Apple : rattraper rapidement les leaders du secteur tout en préservant les promesses de confidentialité qui sont au coeur de son identité de marque.

💬 L'argument confidentialité tient moins bien avec Siri qui sous-traite à Google Cloud, mais c'est à côté du sujet. Ce qui compte, c'est que quinze ans de puces custom donnent à Apple une base que Google ou Microsoft ne peuvent pas copier en six mois : faire tourner de l'IA sur des milliards d'appareils sans passer par un datacenter, c'est une infrastructure inversée que personne d'autre n'a. Reste à voir si les modèles sont à la hauteur.

Repenser le coût total de l'IA : pourquoi le coût par token est la seule métrique qui compte

Les centres de données d'entreprise sont en train de vivre une mutation profonde : autrefois dédiés au stockage et au traitement de données, ils deviennent des usines à tokens, dont la production principale est l'intelligence artificielle générée à la demande. Cette transformation oblige les entreprises à repenser entièrement leur manière d'évaluer le coût total de possession (TCO) de leur infrastructure IA. Or, selon NVIDIA, la majorité des décideurs continuent de se focaliser sur des métriques obsolètes : le coût par GPU par heure ou les FLOPS par dollar, c'est-à-dire la puissance brute de calcul obtenue pour chaque dollar investi. Ces indicateurs mesurent des intrants, alors que les entreprises, elles, font tourner leur activité sur des extrants. La seule métrique qui compte réellement est le coût par million de tokens produits, soit le coût tout compris pour générer chaque unité d'intelligence délivrée à l'utilisateur final. Optimiser ce coût par token change fondamentalement l'équation économique de l'IA. Le numérateur de cette équation, le coût horaire du GPU, est visible et facile à comparer entre fournisseurs cloud ou solutions on-premise. Mais c'est le dénominateur, soit le volume de tokens effectivement délivrés par seconde, qui détermine la rentabilité réelle. Augmenter ce débit produit deux effets simultanés : il réduit le coût unitaire de chaque interaction servie, améliorant ainsi les marges, et il augmente le nombre de tokens par mégawatt consommé, ce qui permet de générer davantage de revenus à partir du même investissement infrastructurel. NVIDIA affirme proposer le coût par token le plus bas du secteur, notamment sur les modèles de raisonnement de type mixture-of-experts (MoE), qui représentent aujourd'hui la catégorie de modèles la plus largement déployée en production. Cette réévaluation des critères de choix s'inscrit dans un contexte de montée en puissance de l'IA agentique, où les systèmes autonomes enchaînent des séquences longues d'inférences, rendant le débit et la latence encore plus critiques. Des technologies comme le décodage spéculatif, la prédiction multi-token, le routage KV-aware ou encore le déchargement du cache KV permettent d'augmenter substantiellement le débit réel sans changer le matériel. La prise en charge de la précision FP4, la capacité de l'interconnexion à gérer le trafic all-to-all des modèles MoE, ou encore les optimisations de la couche de serving deviennent des critères de sélection déterminants. Pour les déploiements on-premise notamment, où l'engagement en capital sur le foncier, l'énergie et l'infrastructure est massif, maximiser l'intelligence produite par mégawatt n'est plus une option technique mais un impératif économique.