La dette de prompts, de récupération et d'évaluation redéfinit discrètement le risque de l'IA en entreprise

Une étude du MIT publiée en 2025 révèle que 95 % des projets d'IA n'atteignent jamais la production ou ne génèrent aucune valeur concrète. Dans le même temps, une enquête de S&P Global Market Intelligence indique que 42 % des entreprises ont abandonné plusieurs initiatives d'IA en 2025, contre seulement 17 % l'année précédente. Derrière ces chiffres alarmants se cache un phénomène encore mal nommé : la dette technique liée à l'IA, qui se manifeste sous quatre formes distinctes. La première, la dette de prompts, est la plus visible : des ajustements non documentés, des corrections rapides empilées, l'absence de versionnage, et le "prompt stuffing", l'injection excessive de contexte dans les requêtes, transforment les prompts en code non typé, non testé et fragile. La deuxième forme, la dette de dépendance aux modèles, découle du fait que la logique applicative repose désormais sur des modèles externes (OpenAI, Anthropic, Google...) que l'entreprise ne contrôle pas : une mise à jour du fournisseur peut dégrader silencieusement les performances sans que personne ne le détecte immédiatement. La dette de récupération (retrieval debt) affecte les systèmes RAG, qui puisent dans des bases documentaires d'entreprise souvent désordonnées, dupliquées ou obsolètes, générant des réponses techniquement exactes mais périmées, difficiles à détecter précisément parce qu'elles semblent plausibles. Enfin, la dette d'évaluation reflète l'absence de standards de test continus, de jeux de données de référence et de monitoring en temps réel des déploiements.

Ces nouvelles formes de dette ont des conséquences concrètes pour les directions techniques. Contrairement à la dette logicielle classique, localisée dans une base de code et reproductible, la dette IA est distribuée sur des couches hétérogènes, prompts, modèles, pipelines de données, infrastructure, et se manifeste de façon intermittente, en raison de la nature probabiliste des systèmes d'IA. Un bug traditionnel se reproduit et se corrige ; une dérive de modèle ou un prompt dégradé peut passer inaperçu pendant des semaines, s'aggraver progressivement et ne se révéler qu'en production. CTO et CIO perdent ainsi la visibilité sur les performances réelles de leurs systèmes, sans équivalent à l'intégration continue (CI/CD) pour les prompts et les modèles.

Ce constat s'inscrit dans une transformation plus profonde de la définition même du risque technique. Pendant vingt ans, la dette technique désignait une architecture vieillissante ou du code mal maintenu, des problèmes circonscrits et relativement maîtrisables. L'IA introduit des dépendances externes non contrôlées, des comportements non déterministes et des pipelines de données vivants, rendant les points de défaillance à la fois plus nombreux et plus difficiles à anticiper. Les entreprises qui déploient des agents et des applications fondées sur des API de modèles fondamentaux s'exposent à des risques systémiques si elles ne mettent pas en place dès maintenant des pratiques de gouvernance adaptées : versionnage des prompts, tests de régression sur les sorties de modèles, et monitoring continu post-déploiement. La prochaine vague d'échecs d'IA ne viendra probablement pas d'hallucinations spectaculaires, mais d'une accumulation silencieuse de dettes invisibles.