L'IA agentique en entreprise : les vrais coûts, risques de sécurité et enjeux culturels

Les entreprises qui déploient des agents IA en production se heurtent à trois obstacles concrets, selon Brian Gracely, directeur senior de la stratégie produit chez Red Hat, qui s'exprimait lors du récent événement AI Impact de VentureBeat. Beaucoup de dirigeants d'entreprise, influencés par les annonces spectaculaires du secteur, craignent d'avoir déjà pris un retard critique sur leurs concurrents en matière d'agents autonomes. Or cette inquiétude repose largement sur une idée fausse : les équipes progressent en réalité bien plus vite qu'elles ne l'anticipent une fois qu'elles se lancent dans le développement. Ce progrès rapide entraîne cependant un autre défi de taille. L'usage des agents IA génère des volumes de requêtes largement supérieurs à ceux de l'ère des chatbots, ce qui fait exploser les coûts et transforme leur gestion, autrefois une simple question technique, en sujet récurrent des conseils d'administration. Les entreprises prennent aussi conscience de leur dépendance à une poignée de fournisseurs de modèles. Selon Gracely, deux ou trois grands acteurs du marché reconnaissent déjà perdre de l'argent et cherchent à entrer en Bourse pour combler ce déficit, ce qui pousse les entreprises à explorer des alternatives leur donnant plus de contrôle sur leurs coûts et leur infrastructure.

Le principal poste de surcoût identifié par Gracely tient à une habitude répandue : utiliser systématiquement le modèle le plus puissant disponible, quelle que soit la complexité réelle de la tâche. Pour résoudre une réclamation d'assurance, illustre-t-il, inutile de mobiliser un modèle capable de retracer l'histoire de la civilisation occidentale ou de connaître les résultats de la Coupe du monde de football. Le levier le plus rapide pour réduire les dépenses consiste donc à ajuster la taille du modèle à la tâche, via le routage sémantique : les requêtes sont automatiquement classées puis dirigées vers le modèle adapté, sans que l'utilisateur ait à choisir. Des techniques d'infrastructure comme la mise en cache des requêtes répétitives limitent en parallèle le recours effectif aux GPU. Ensemble, ces outils démontrent qu'efficacité et innovation ne sont pas mutuellement exclusives.

Cette discipline financière autour de la consommation de tokens rappelle les pratiques FinOps qu'il a fallu des années pour affiner autour des dépenses de cloud computing, et les mêmes cadres méthodologiques devraient s'y transférer, même si le vocabulaire change. Gracely insiste sur la nécessité d'une pédagogie interne pour que les équipes financières comprennent ce qu'est un token, comme elles ont dû apprendre par le passé ce qu'était une instance EC2 ou un bucket S3, afin que les équipes cessent de recourir par défaut au modèle le plus prestigieux pour des tâches qui n'en ont pas besoin. Par ailleurs, la vitesse à laquelle les outils d'IA détectent aujourd'hui les vulnérabilités logicielles oblige les entreprises à repenser leurs cycles de gestion des correctifs, les procédures traditionnelles de patch management se révélant souvent trop lentes face à des menaces identifiées presque instantanément.