« Comment réduire le budget de tokens sans réduire l'équipe »
Le patron de Nvidia Jensen Huang a fixé un seuil inhabituel pour juger ses ingénieurs : lors du All-In Podcast, à la clôture de la GTC 2026, il a affirmé que si un ingénieur payé 500 000 dollars par an consommait des tokens IA pour moins de la moitié de son salaire, cela le "alarmerait profondément". Nvidia vise désormais une facture annuelle de 2 milliards de dollars de tokens pour ses équipes d'ingénierie. Ce chiffre illustre un basculement déjà largement engagé ailleurs : l'argent qui finançait des postes finance de plus en plus des tokens. Les quatre plus grands hyperscalers ont annoncé environ 700 milliards de dollars de dépenses d'investissement combinées pour 2026, près du double de l'année précédente, tandis que le cabinet Challenger, Gray & Christmas recense l'IA comme premier motif de suppressions d'emplois aux États-Unis pour un quatrième mois consécutif. Un mémo interne de Meta, révélé par Reuters, décrivait les 8 000 suppressions de postes de mai comme un moyen de compenser les investissements massifs du groupe, alors même que son chiffre d'affaires progressait de 33% sur le trimestre.
Ces licenciements ne relèvent donc pas de mesures de survie mais bien de financement, et le problème est que cet argent n'a pas produit les résultats promis. Une enquête de Gartner auprès de 350 dirigeants d'entreprises générant plus d'un milliard de dollars de revenus et déployant des agents IA a montré qu'environ 80% d'entre elles avaient réduit leurs effectifs sans aucune corrélation avec une amélioration du retour sur investissement. Chez Uber, l'addition a été particulièrement salée : après avoir déployé des outils de codage IA auprès de 5 000 ingénieurs en décembre, l'entreprise a épuisé tout son budget IA 2026 dès avril. Son directeur des opérations, Andrew Macdonald, a reconnu que malgré 70% de code généré par IA, le lien avec un bénéfice perceptible par les clients restait introuvable. Le vrai problème apparaît alors clairement : les entreprises ont traité leur budget de tokens comme une donnée fixe et leurs effectifs comme une variable d'ajustement, alors que c'est l'inverse qui serait pertinent, puisque des suppressions de postes emportent définitivement du savoir-faire interne.
Plusieurs leviers permettent pourtant de réduire la facture sans toucher aux équipes. La mise en cache des prompts, désormais standard chez les grands fournisseurs d'API, réduit jusqu'à 90% le coût du traitement répété de contenus statiques comme les instructions système, selon les tarifs publiés par Anthropic et OpenAI. La société de sécurité ProjectDiscovery a ainsi fait passer son taux de succès de cache de 7% à 84%, réduisant sa facture LLM totale de 59 à 70% tout en servant 9,8 milliards de tokens depuis le cache. D'autres leviers existent : orienter les tâches simples vers des modèles plus petits et moins coûteux, profiter des remises de 50% sur le traitement par lots, utiliser la génération augmentée par récupération (RAG) pour n'envoyer au modèle que les données pertinentes, compresser les prompts, ou encore recourir à des modèles ouverts moins chers que les modèles propriétaires de pointe. Chez Uber, un plafond mensuel de 1 500 dollars par ingénieur a été instauré après le dépassement d'avril, signe que la discipline budgétaire finit par s'imposer, que ce soit par anticipation ou sous la contrainte.
Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.




