Aller au contenu principal
Les entreprises utilisant plusieurs modèles d'IA sous-estiment les taux d'échec d'un facteur 2,25
RechercheVentureBeat AI1h· 2 min de lecture

Les entreprises utilisant plusieurs modèles d'IA sous-estiment les taux d'échec d'un facteur 2,25

Source originale ↗·

Une nouvelle étude portant sur 67 modèles de langage de pointe issus de 21 fournisseurs remet en cause une pratique largement répandue chez les entreprises qui combinent plusieurs modèles d'IA pour réduire les erreurs. Selon les travaux de Josef Chen, auteur de l'étude qui s'est confié à VentureBeat, les entreprises sous-estiment leur taux d'échec réel d'un facteur 2,25 en s'appuyant sur une hypothèse mathématiquement erronée : celle voulant que deux modèles qui échouent rarement sur les mêmes requêtes se couvrent mutuellement. Chen introduit le concept de "plafond de co-échec", c'est-à-dire le pourcentage de requêtes où tous les modèles d'un même groupe se trompent simultanément, une donnée bien plus déterminante que la simple divergence entre modèles. Dans les tests menés par l'équipe, le vote majoritaire naïf entre modèles de niveaux inégaux a produit un gain moyen négatif, soit moins 10 points sur leur jeu de requêtes difficiles, les modèles les plus faibles votant en bloc contre le plus performant.

Cette découverte a des conséquences financières et opérationnelles concrètes pour les entreprises qui déploient de l'IA à grande échelle. Les architectures habituelles, routeurs qui aiguillent les requêtes selon leur complexité, cascades qui n'escaladent vers un modèle premium qu'en cas de doute, ou systèmes de Mixture-of-Agents qui fusionnent plusieurs réponses, imposent toutes un coût caché : latence supplémentaire, infrastructure complexe à maintenir, et risques de gouvernance accrus du fait de la multiplication des fournisseurs d'API. Or ces coûts sont souvent engagés sur la base d'une "corrélation d'erreurs par paire" jugée faible, sans que cela garantisse une réelle complémentarité entre modèles inégaux en compétence. Pour les équipes techniques, le message est clair : mieux vaut ne combiner que des modèles de niveau comparable, ou, à défaut, concentrer le budget sur le meilleur modèle disponible plutôt que de multiplier les architectures d'orchestration.

Cette remise en question intervient alors que les modèles de pointe convergent de plus en plus dans leurs capacités, ce qui réduit mécaniquement les bénéfices attendus de la diversité algorithmique : quand les meilleurs modèles sont d'accord entre eux, et pire, échouent sur les mêmes requêtes, le prompt initial ne dit presque rien sur celui qui aura raison en cas de désaccord. L'étude identifie toutefois une exception notable : à qualité égale, un ensemble de modèles différents mais faiblement corrélés bat un système "Self-MoA", où un même modèle premium est interrogé plusieurs fois. Les chercheurs recommandent désormais aux équipes de mesurer directement leur taux de co-échec avant d'investir dans une infrastructure d'orchestration, un test qui ne coûte rien et qui permettrait d'éviter des dépenses d'ingénierie pour des gains de performance largement illusoires.

Cet article vous a été utile ?

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

Des chercheurs de Google présentent l'incertitude fidèle, pour que les LLMs estiment plutôt qu'hallucinent
1VentureBeat AI 

Des chercheurs de Google présentent l'incertitude fidèle, pour que les LLMs estiment plutôt qu'hallucinent

Des chercheurs de Google ont publié un article proposant une approche nouvelle pour lutter contre les hallucinations des grands modèles de langage, baptisée "faithful uncertainty" (incertitude fidèle). La technique, présentée par Gal Yona, chercheur scientifique chez Google et co-auteur de l'étude, repose sur un principe métacognitif : aligner les réponses d'un modèle sur sa confiance interne réelle. Concrètement, plutôt que de forcer le modèle à choisir entre répondre avec assurance ou s'abstenir entièrement, cette approche lui permet d'exprimer des hypothèses nuancées comme "si je ne me trompe pas" ou "je pense que, mais je n'en suis pas certain". Le modèle peut ainsi partager des informations partielles tout en signalant leur degré de fiabilité, y compris dans des systèmes d'IA agentique où des décisions s'enchaînent sans supervision humaine constante. L'enjeu est considérable pour les applications d'entreprise, qui se heurtent à ce que les auteurs appellent le "utility tax", ou coût en utilité. Les stratégies actuelles de réduction des hallucinations imposent un compromis brutal : pour abaisser un taux d'erreur de 25 % à un seuil strict de 5 %, les développeurs doivent sacrifier 52 % des réponses correctes du modèle. En pratique, les équipes techniques refusent ce compromis et configurent leurs systèmes pour maximiser la couverture, ce qui pousse les modèles à continuer de générer des erreurs présentées avec confiance. La redéfinition proposée par Google permet de sortir de cette impasse : une erreur factuelle accompagnée d'une réserve explicite n'est plus une hallucination, c'est une hypothèse. Seule une affirmation incorrecte livrée avec autorité, sans qualification, constitue une véritable hallucination. Cette distinction préserve à la fois la fiabilité et l'utilité du système. Cette recherche s'inscrit dans une prise de conscience plus large des limites structurelles des LLMs. Pendant des années, les progrès en factualité ont surtout reposé sur l'expansion des connaissances : des modèles plus grands, nourris de davantage de données d'entraînement. Mais comme le souligne Yona, "la capacité des modèles est finie, alors que la longue traîne de la connaissance est effectivement infinie." La vraie faiblesse réside dans la conscience des limites, c'est-à-dire la capacité du modèle à distinguer ce qu'il sait de ce qu'il ignore. Dans les applications agentiques, où des systèmes autonomes prennent des décisions en cascade, cette conscience métacognitive devient un mécanisme de contrôle critique : elle permet au modèle de déterminer seul quand son savoir interne est suffisant et quand il doit faire appel à des outils externes ou des API de recherche pour combler ses lacunes.

UELes équipes techniques européennes déployant des LLMs en production pourraient adopter cette approche pour réduire les hallucinations sans sacrifier la couverture des réponses, un enjeu critique pour les applications d'entreprise.

💬 Le chiffre qui tue : pour passer de 25 à 5% d'hallucinations, tu sacrifies 52% des bonnes réponses. Personne ne fait ce compromis, donc les modèles continuent de débiter des erreurs avec assurance. Laisser un LLM dire "je pense que, mais je n'en suis pas certain" plutôt qu'affirmer ou se taire, c'est pas spectaculaire sur le papier, mais si ça tient en prod, ça règle un problème que tout le monde contourne depuis 2 ans.

RecherchePaper
1 source
Les États-Unis utilisent le premier supercalculateur exascale mondial pour modéliser des supernovae et des réacteurs à fusion
2Interesting Engineering 

Les États-Unis utilisent le premier supercalculateur exascale mondial pour modéliser des supernovae et des réacteurs à fusion

Des scientifiques américains du laboratoire national d'Oak Ridge (ORNL), rattaché au Département de l'Énergie, ont utilisé Frontier, le superordinateur exascale le plus puissant du monde, pour modéliser la turbulence magnétohydrodynamique (MHD) dans les plasmas. Capable d'effectuer plus de deux quintillions de calculs par seconde, Frontier est classé troisième superordinateur le plus rapide au monde, derrière Aurora et El Capitan. L'équipe, dirigée par le doctorant Semih Kacmaz sous la supervision d'Eliu Huerta, scientifique computationnel à l'Argonne National Laboratory, a développé une approche en deux étapes combinant un opérateur neuronal informé par la physique et un modèle de diffusion génératif. Ensemble, ces deux systèmes d'IA produisent des prédictions de turbulences très détaillées en quelques secondes, avec une réduction des erreurs de plus de moitié par rapport aux méthodes conventionnelles. Ce résultat représente une avancée majeure dans un domaine que les physiciens considèrent comme l'un des plus récalcitrants de leur discipline. La turbulence MHD régit le comportement des gaz ionisés soumis à des champs magnétiques, des phénomènes omniprésents dans l'univers : éruptions solaires, explosions de supernovæ, magnétosphère terrestre. Les méthodes traditionnelles, comme l'approche Reynolds-Averaged Navier-Stokes (RANS), reposent sur des équations simplifiées qui lissent les détails fins et ne capturent pas toute la physique en jeu. Le nouveau cadre IA, lui, reconstruit les petits tourbillons et fluctuations rapides qui définissent les écoulements turbulents, ouvrant la voie à des modèles de supernovæ bien plus précis et à la conception de réacteurs à fusion nucléaire plus efficaces. "C'est la première fois que l'IA parvient à modéliser fidèlement la turbulence magnétisée dans des conditions aussi extrêmes", a déclaré Huerta. La turbulence dans les plasmas constitue un obstacle de longue date pour deux domaines stratégiques : l'astrophysique, qui cherche à comprendre les explosions stellaires, et la fusion nucléaire, dont la viabilité industrielle dépend en partie de la maîtrise du comportement des plasmas à haute énergie. Des projets comme ITER ou les réacteurs privés de Commonwealth Fusion Systems se heurtent précisément à ces instabilités. En mobilisant l'allocation de temps de calcul sur Frontier pour générer des milliers de simulations haute-fidélité servant à entraîner leurs modèles, les chercheurs ont démontré que les supercalculateurs exascale peuvent débloquer des problèmes jugés hors de portée. L'équipe prévoit désormais d'étendre le modèle à des simulations plasma en 3D complètes et à des environnements astrophysiques plus complexes, ce qui pourrait accélérer à la fois la recherche fondamentale sur la dynamique des étoiles et le développement applicatif de la fusion comme source d'énergie décarbonée.

UELes avancées dans la modélisation de la turbulence des plasmas bénéficient directement au projet ITER, dont le réacteur expérimental est en construction à Cadarache (France) et qui se heurte précisément aux instabilités plasma décrites dans l'article.

RecherchePaper
1 source
Naver utilise des données Street View réelles pour que son modèle IA ne fabrique pas de villes entières
3The Decoder 

Naver utilise des données Street View réelles pour que son modèle IA ne fabrique pas de villes entières

Naver, le géant sud-coréen d'internet concurrent de Google en Corée du Sud, a présenté le "Seoul World Model", un modèle vidéo capable de simuler des environnements urbains réalistes à partir de données géométriques concrètes. Pour l'entraîner, l'entreprise a exploité plus d'un million d'images issues de son propre service Street View, permettant au modèle de s'ancrer dans la structure réelle des villes plutôt que dans des représentations approximatives. L'enjeu central est celui des hallucinations géographiques : les modèles génératifs ont tendance à inventer des bâtiments, des rues ou des configurations urbaines qui n'existent pas, rendant leur usage peu fiable pour des applications comme la navigation autonome, la simulation urbaine ou la planification architecturale. En contraignant le modèle avec des données de Street View réelles, Naver ancre les générations visuelles dans une géométrie vérifiable. Autre avantage notable : le modèle se généralise à d'autres villes sans nécessiter de fine-tuning spécifique, ce qui réduit considérablement les coûts de déploiement dans de nouveaux contextes géographiques. Cette approche s'inscrit dans une course plus large entre les acteurs de la cartographie et ceux de l'IA générative pour produire des jumeaux numériques urbains fiables. Naver, qui gère l'une des infrastructures cartographiques les plus denses d'Asie, dispose d'un avantage structurel rare : des données propriétaires à grande échelle. Google, avec Street View mondial, et des startups spécialisées comme Wayve ou Waymo sont également actifs sur ce terrain, où la qualité des données d'entraînement devient le facteur différenciant principal.

RecherchePaper
1 source
Comment les modèles ouverts stimulent la recherche en IA
4NVIDIA AI Blog 

Comment les modèles ouverts stimulent la recherche en IA

À l'occasion de l'ICML 2026, l'une des plus grandes conférences mondiales sur le machine learning, les statistiques des papiers acceptés révèlent à quel point les modèles et infrastructures ouverts sont devenus centraux dans la recherche en intelligence artificielle. NVIDIA compte à lui seul 74 papiers acceptés cette année. Environ 2 000 articles retenus citent l'utilisation de GPU NVIDIA, et 145 s'appuient spécifiquement sur Nemotron, la famille de modèles et jeux de données ouverts de l'entreprise, comme fondation de leurs travaux. Des centaines d'autres recherches mobilisent Cosmos, Isaac GR00T ou BioNeMo, couvrant l'IA physique, la robotique, les véhicules autonomes et la recherche biomédicale. Parmi les thèmes dominants figurent la génération vidéo, l'apprentissage par renforcement appliqué aux grands modèles de langage, l'entraînement d'agents et l'inférence, mais de nouveaux axes émergent nettement, notamment les modèles de monde pour la robotique. Le projet DreamDojo illustre cette tendance : construit sur Cosmos, il apprend le comportement du monde physique à partir de vidéos humaines afin de prédire comment un robot réagirait dans des environnements jamais rencontrés à l'entraînement, permettant d'évaluer des politiques de décision et de piloter un robot virtuel sans les coûts et risques d'un déploiement réel. Cette montée en puissance des modèles ouverts change concrètement la manière dont la science de l'IA progresse. Plutôt que de partir de zéro, les laboratoires académiques et industriels s'appuient sur des poids ouverts à évaluer, des jeux de données ouverts pour entraîner leurs propres modèles, et des recettes ouvertes couvrant le raisonnement, l'usage d'outils, la sécurité et l'inférence efficace. En sciences de la vie, les modèles ouverts BioNeMo ont permis des avancées comme FLIP2, un nouveau benchmark public pour évaluer la capacité de l'IA à prédire l'effet des mutations sur les protéines, ou KERMT, un modèle dédié aux propriétés moléculaires utiles à la découverte de médicaments. La génération de données synthétiques s'impose également comme un axe majeur, reflétant un besoin croissant d'entraîner des modèles à grande échelle sans dépendre uniquement de données annotées par des humains, un chantier soutenu par les outils NeMo Curator. Cette dynamique dépasse largement les laboratoires de NVIDIA. Basecamp Research a développé EDEN, un modèle de fondation pour l'ADN qui aide à interpréter et concevoir des séquences génétiques. Le groupe pharmaceutique Merck & Co. utilise KERMT pour prédire le comportement de molécules candidates à un traitement, notamment leur efficacité et leur sécurité potentielles. Le laboratoire japonais Sakana AI, présent à la conférence, a bâti ses modèles Fugu et Fugu-Ultra directement sur Nemotron 3 Ultra pour automatiser une partie de la recherche en IA, tandis que la startup KiloCode a intégré Nemotron dans son architecture de routage de code, revendiquant une réduction des coûts en tokens pouvant atteindre 90 %. Ces exemples illustrent comment l'ouverture des modèles et des infrastructures accélère l'innovation bien au-delà du seul écosystème de leur créateur, en abaissant la barrière d'entrée pour des équipes de recherche et des entreprises de toutes tailles.

UELes laboratoires de recherche académiques europeens beneficient indirectement de l'acces a ces modeles et jeux de donnees ouverts pour leurs propres travaux.

💬 Les chiffres parlent tout seuls : 2000 papiers ICML citent du GPU NVIDIA, 145 s'appuient sur Nemotron. On est loin du open source comme argument marketing, c'est devenu l'infrastructure de base de la recherche en IA. Ce qui me frappe, c'est que ça abaisse vraiment la barrière d'entrée : un labo japonais comme Sakana ou une startup comme KiloCode construisent dessus sans les moyens d'un géant. Reste à voir si NVIDIA garde cette ouverture quand la position dominante sera encore plus verrouillée.

RecherchePaper
1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, l'essentiel de l'IA · désinscription en un clic