Aller au contenu principal
8 ans, 100 dollars, et plus rapide qu’une RTX 3060 pour faire tourner un LLM en local
InfrastructureFrandroid · 1 min de lecture

8 ans, 100 dollars, et plus rapide qu’une RTX 3060 pour faire tourner un LLM en local

Source originale ↗·

Un YouTubeur spécialisé en hardware a démontré récemment qu'une carte Nvidia destinée aux serveurs, datant de 2017 et achetée une centaine de dollars sur eBay, surpasse une RTX 3060 moderne pour faire tourner des modèles de langage en local. La carte en question, une Tesla P40 dotée de 24 Go de mémoire GDDR5, génère davantage de tokens par seconde que la carte grand public de Nvidia sur des modèles comme Llama ou Mistral 7B, tout en offrant deux fois plus de VRAM pour charger des modèles plus volumineux.

Ce résultat contre-intuitif souligne un avantage décisif du matériel entreprise d'occasion : la quantité de mémoire embarquée. Pour les LLM en local, la VRAM est le facteur limitant, bien plus que la puissance de calcul brute. Avec 24 Go, la P40 peut charger des modèles de 13 à 20 milliards de paramètres sans quantification agressive, là où la RTX 3060 et ses 12 Go se retrouvent rapidement à court. Pour un particulier ou un développeur indépendant cherchant à expérimenter avec l'IA générative sans investir plusieurs centaines d'euros, l'équation devient très favorable.

Le marché de l'occasion en matériel datacenter constitue un angle mort peu exploré par la communauté IA grand public. Les cartes Tesla, Quadro et A-series de générations précédentes, déclassées par les entreprises au profit de H100 et autres puces récentes, s'accumulent sur les plateformes de revente à des prix dérisoires. Avec l'explosion de l'intérêt pour les LLM locaux depuis la sortie de Llama en 2023, ce segment pourrait attirer davantage d'attention, au point de faire remonter les prix sur ces références spécifiques.

Dans nos dossiers

Cet article vous a été utile ?

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

Google prépare lui aussi une puce IA pour faire tourner Gemini bien plus efficacement
1Le Big Data 

Google prépare lui aussi une puce IA pour faire tourner Gemini bien plus efficacement

Google développe une nouvelle puce IA en interne, baptisée « Frozen v2 », spécialement conçue pour faire tourner ses modèles Gemini, selon un rapport de The Information publié le 20 juillet 2026. Ce processeur pour serveurs viendrait compléter, et non remplacer, les TPU déjà utilisés par l'entreprise. Son originalité tiendrait à l'intégration directe de certains éléments de l'architecture de Gemini dans le matériel lui-même, réduisant ainsi la dépendance du modèle aux seuls logiciels. D'après les estimations internes citées dans le rapport, cette puce pourrait générer entre six et dix fois plus de tokens pour une même consommation d'énergie que les TPU les plus récents de Google. Un porte-parole de Google Cloud a confirmé que les équipes travaillaient à concevoir conjointement du matériel et des logiciels pour obtenir des systèmes « hautement optimisés », sans toutefois valider les détails précis du projet. Le déploiement de Frozen v2 ne serait pas attendu avant 2028, les ingénieurs devant encore trancher sur la conception finale et sur la part du modèle directement gravée dans le silicium. Cette initiative répond à une pression bien concrète sur les infrastructures de Google. La demande en puissance de calcul pour faire tourner Gemini serait telle qu'elle aurait déjà provoqué des tensions internes, poussant Google Cloud à refuser certains contrats avec des clients externes faute de ressources disponibles. Une puce plus efficace permettrait de traiter davantage de requêtes sans augmenter la consommation énergétique ni multiplier les centres de données, un enjeu de plus en plus critique à mesure que les modèles d'IA generatifs gagnent en taille et en gourmandise. Pour les utilisateurs de Gemini comme pour les clients de Google Cloud, cela pourrait se traduire par une meilleure disponibilité du service et, potentiellement, des coûts d'exploitation réduits à terme. Cette course au matériel sur mesure dépasse largement le seul cas de Google. Nvidia domine aujourd'hui le marché des puces IA, mais plusieurs géants technologiques cherchent à réduire leur dépendance à ce fournisseur unique en développant leurs propres processeurs adaptés à leurs modèles. Amazon a ses puces Trainium et Inferentia, Microsoft son Maia, et Meta développe également ses propres accélérateurs. En misant sur une architecture pensée main dans la main avec Gemini, Google cherche à sécuriser son approvisionnement tout en gagnant un avantage compétitif sur l'efficacité énergétique, un critère de plus en plus déterminant à mesure que les data centers dédiés à l'IA consomment des quantités croissantes d'électricité. Rien ne garantit cependant que le projet aboutira dans les termes décrits, et l'horizon 2028 laisse une marge importante avant toute confirmation industrielle.

InfrastructureActu
1 source
Les meilleurs mini PC pour l’IA en local : faire tourner un LLM chez soi sans cloud
2Frandroid 

Les meilleurs mini PC pour l’IA en local : faire tourner un LLM chez soi sans cloud

L'article fourni est un simple teaser, il se coupe après l'introduction avec "[Lire la suite]" et ne contient aucun contenu réel : aucun mini PC mentionné, aucun prix, aucune spec technique, aucune recommandation concrète. Écrire un article autonome de 200-250 mots à partir de ça reviendrait à inventer des faits, ce que je ne ferai pas. Options : 1. Fournis le contenu complet de l'article (colle le texte intégral après le "[Lire la suite]"), je le résume immédiatement. 2. Fournis l'URL, je peux tenter de récupérer la page si tu me la donnes.

💬 Les mini PC pour faire tourner un LLM en local, c'est le sujet qui revient tous les six mois avec de nouvelles puces et les mêmes questions. Ce qui change vraiment, c'est que les modèles 7-14B commencent à tenir dans 16 Go de RAM avec des perfs acceptables, ce n'était pas le cas il y a dix-huit mois. Reste que le vrai coût, c'est pas le matériel, c'est le temps passé à optimiser la quantification pour que ça ne rame pas trop.

InfrastructureTuto
1 source
L'AWS fait face a une forte demande, poussant de plus en plus de startups a se tourner vers de nouveaux fournisseurs cloud
3The Information AI 

L'AWS fait face a une forte demande, poussant de plus en plus de startups a se tourner vers de nouveaux fournisseurs cloud

Arcee, une startup spécialisée dans l'intelligence artificielle open-source, avait signé en 2024 un engagement de 8 millions de dollars sur trois ans avec Amazon Web Services pour stocker ses données et faire tourner ses modèles d'IA. Problème selon son PDG Mark McQuade : l'entreprise n'est pas parvenue à obtenir suffisamment de serveurs équipés de puces Nvidia sur AWS pour répondre à ses besoins de calcul. Résultat, Arcee a fini par exécuter la majorité de ses modèles ailleurs, notamment chez des acteurs cloud plus récents comme Hugging Face et Together, plutôt que chez le géant du secteur. Cette situation illustre une tension croissante dans l'industrie de l'IA : la demande en puissance de calcul explose plus vite que les grands fournisseurs cloud ne peuvent l'absorber, même pour des clients ayant contractuellement réservé des ressources. Pour des startups comme Arcee, dépendre d'un fournisseur historique saturé devient un frein direct à l'innovation et à la mise en production de leurs modèles. Cela ouvre une brèche commerciale pour des plateformes spécialisées dans l'hébergement et l'exécution de modèles d'IA, capables de proposer un accès plus rapide au matériel Nvidia. Le cas d'Arcee reflète un mouvement plus large où des clients d'AWS, historiquement fidèles au leader du cloud, se tournent vers des alternatives pour contourner les pénuries de capacité GPU. Cette pénurie, alimentée par la ruée mondiale vers l'entraînement et le déploiement de grands modèles de langage, redessine les rapports de force entre fournisseurs cloud traditionnels et nouveaux entrants spécialisés dans l'infrastructure IA.

💬 Bon, ça devait arriver. Réserver du GPU contractuellement chez AWS et se retrouver quand même à sec, c'est le signe que même les géants du cloud n'ont plus la marge pour absorber la demande. La vraie nouvelle, c'est pas qu'Arcee change de crémerie, c'est que la pénurie de calcul redistribue les cartes entre gros clouds et acteurs spécialisés comme Hugging Face ou Together. Selon Le Fil IA, la fidélité à AWS ne pèse plus rien face à une puce Nvidia disponible ailleurs.

InfrastructureActu
1 source
Microsoft lance le Surface RTX Spark Dev Box pour faire tourner de grands modèles IA sans recourir au cloud
4VentureBeat AI 

Microsoft lance le Surface RTX Spark Dev Box pour faire tourner de grands modèles IA sans recourir au cloud

Microsoft a dévoilé lundi le Surface RTX Spark Dev Box lors de la conférence Build 2026, un ordinateur de bureau compact destiné aux développeurs de logiciels qui souhaitent faire tourner de grands modèles d'intelligence artificielle en local, sans passer par le cloud. La machine embarque le nouveau processeur RTX Spark d'Nvidia, basé sur l'architecture Blackwell, et dispose de 128 gigaoctets de mémoire unifiée partagée dynamiquement entre le CPU et le GPU. Cette configuration permet d'atteindre un pétaflop de puissance de calcul IA, ce qui autorise l'exécution de modèles dépassant 120 milliards de paramètres sans envoyer la moindre requête vers un serveur distant. Pavan Davuluri, vice-président exécutif de Windows et Devices chez Microsoft, a précisé que la mémoire joue un rôle critique : à 100 000 tokens de contexte, le cache clé-valeur d'un grand modèle peut à lui seul consommer entre 40 et 50 gigaoctets, ce qui explique le choix de ce pool mémoire de 128 Go. L'appareil sera commercialisé exclusivement sur Microsoft.com aux États-Unis d'ici la fin de l'année, sans prix annoncé à ce stade. L'enjeu est directement économique. Les entreprises de toutes tailles font face à des factures cloud GPU qui s'accumulent de façon imprévisible : chaque appel d'inférence, chaque cycle de fine-tuning, chaque workflow agentique qui itère sur un modèle frontier génère des coûts qui s'emballent pour un développeur testant son prototype des dizaines de fois par jour. Andrew Hill, vice-président de Surface, a résumé la promesse dans le billet d'annonce : le Dev Box "change l'équation" en permettant aux équipes de "réserver les appels aux modèles frontier aux vrais problèmes frontier, et de traiter le reste sur leur propre matériel." La proposition n'est pas que le cloud soit dépassé, mais qu'une large partie des tâches actuellement envoyées à des datacenters distants ne justifie pas des modèles de pointe et serait mieux servie par du matériel local à coût fixe et prévisible. Ce lancement marque un tournant stratégique notable pour Microsoft, dont Azure génère plusieurs dizaines de milliards de dollars de revenus annuels. En commercialisant explicitement un appareil qui réduit la dépendance au cloud de ses propres clients, l'entreprise reconnaît une tension structurelle qui monte dans l'industrie depuis l'explosion des coûts d'inférence. Le pari de Redmond est que les développeurs qui prototypent en local déploieront ensuite sur Azure lorsqu'ils auront besoin de passer à l'échelle, et que contrôler les deux extrémités de ce cycle de développement est plus rentable que de n'en posséder qu'une. L'architecture RTX Spark, qui fusionne CPU ARM et GPU Blackwell en un seul chip avec mémoire unifiée, remplace quatre composants distincts d'un PC classique et ouvre la voie à une nouvelle génération de postes de travail IA autonomes.

InfrastructureOpinion
1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, l'essentiel de l'IA · désinscription en un clic