
Les entreprises utilisant plusieurs modèles d'IA sous-estiment les taux d'échec d'un facteur 2,25
Une nouvelle étude portant sur 67 modèles de langage de pointe issus de 21 fournisseurs remet en cause une pratique largement répandue chez les entreprises qui combinent plusieurs modèles d'IA pour réduire les erreurs. Selon les travaux de Josef Chen, auteur de l'étude qui s'est confié à VentureBeat, les entreprises sous-estiment leur taux d'échec réel d'un facteur 2,25 en s'appuyant sur une hypothèse mathématiquement erronée : celle voulant que deux modèles qui échouent rarement sur les mêmes requêtes se couvrent mutuellement. Chen introduit le concept de "plafond de co-échec", c'est-à-dire le pourcentage de requêtes où tous les modèles d'un même groupe se trompent simultanément, une donnée bien plus déterminante que la simple divergence entre modèles. Dans les tests menés par l'équipe, le vote majoritaire naïf entre modèles de niveaux inégaux a produit un gain moyen négatif, soit moins 10 points sur leur jeu de requêtes difficiles, les modèles les plus faibles votant en bloc contre le plus performant.
Cette découverte a des conséquences financières et opérationnelles concrètes pour les entreprises qui déploient de l'IA à grande échelle. Les architectures habituelles, routeurs qui aiguillent les requêtes selon leur complexité, cascades qui n'escaladent vers un modèle premium qu'en cas de doute, ou systèmes de Mixture-of-Agents qui fusionnent plusieurs réponses, imposent toutes un coût caché : latence supplémentaire, infrastructure complexe à maintenir, et risques de gouvernance accrus du fait de la multiplication des fournisseurs d'API. Or ces coûts sont souvent engagés sur la base d'une "corrélation d'erreurs par paire" jugée faible, sans que cela garantisse une réelle complémentarité entre modèles inégaux en compétence. Pour les équipes techniques, le message est clair : mieux vaut ne combiner que des modèles de niveau comparable, ou, à défaut, concentrer le budget sur le meilleur modèle disponible plutôt que de multiplier les architectures d'orchestration.
Cette remise en question intervient alors que les modèles de pointe convergent de plus en plus dans leurs capacités, ce qui réduit mécaniquement les bénéfices attendus de la diversité algorithmique : quand les meilleurs modèles sont d'accord entre eux, et pire, échouent sur les mêmes requêtes, le prompt initial ne dit presque rien sur celui qui aura raison en cas de désaccord. L'étude identifie toutefois une exception notable : à qualité égale, un ensemble de modèles différents mais faiblement corrélés bat un système "Self-MoA", où un même modèle premium est interrogé plusieurs fois. Les chercheurs recommandent désormais aux équipes de mesurer directement leur taux de co-échec avant d'investir dans une infrastructure d'orchestration, un test qui ne coûte rien et qui permettrait d'éviter des dépenses d'ingénierie pour des gains de performance largement illusoires.
Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.




