Aller au contenu principal
OpenAI affirme que GPT-5.6 Sol dépasse Opus 5 sur ARC-AGI-3 avec sa dernière API et deux réglages supplémentaires
LLMsThe Decoder · 1 min de lecture

OpenAI affirme que GPT-5.6 Sol dépasse Opus 5 sur ARC-AGI-3 avec sa dernière API et deux réglages supplémentaires

Source originale ↗·

OpenAI affirme que son modèle GPT-5.6 Sol dépasse Opus 5 d'Anthropic sur le benchmark ARC-AGI-3, mais uniquement en utilisant sa propre API et deux réglages supplémentaires non prévus dans le protocole officiel. Dans cette configuration personnalisée, GPT-5.6 Sol obtient un score de 38,3 %. En revanche, testé selon l'environnement standard défini par ARC Prize, l'organisation qui gère ce benchmark, le même modèle ne récolte que 7,8 %, un écart considérable qui interroge sur la validité de la comparaison mise en avant par OpenAI. ARC Prize, de son côté, affirme que son environnement de test est neutre et ne favorise aucun fournisseur, mais reconnaît avoir potentiellement utilisé une version obsolète de l'API d'OpenAI, ce qui aurait faussé la comparaison initiale avec Opus 5.

Cet épisode illustre les tensions croissantes autour des benchmarks censés mesurer les capacités de raisonnement des grands modèles de langage. Pour les entreprises et développeurs qui choisissent leur fournisseur d'IA en fonction de ces classements, la fiabilité des méthodologies de test devient un enjeu critique : un score gonflé par des paramètres non standards peut orienter des décisions d'achat ou d'intégration sur des bases trompeuses.

ARC-AGI-3 s'est imposé comme une référence pour évaluer le raisonnement abstrait des modèles, au-delà de la simple mémorisation de motifs. La rivalité entre OpenAI et Anthropic sur ce terrain reflète une course plus large à la démonstration de supériorité technique, où chaque acteur cherche à optimiser ses résultats via des configurations spécifiques. Cette controverse pourrait pousser ARC Prize à revoir ses protocoles de test pour garantir une comparaison réellement équitable entre fournisseurs, à mesure que ces benchmarks gagnent en influence sur le marché.

Dans nos dossiers

Cet article vous a été utile ?

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

Qwen3.8-Max affirme surpasser GPT-5.6 Sol Max et Fable 5 sur l'usage d'ordinateur à base d'agents
1VentureBeat AI 

Qwen3.8-Max affirme surpasser GPT-5.6 Sol Max et Fable 5 sur l'usage d'ordinateur à base d'agents

L'équipe Qwen d'Alibaba a dévoilé son nouveau modèle phare Qwen3.8-Max, un grand modèle de langage multimodal de type mixture-of-experts doté de 2 400 milliards de paramètres, conçu pour l'ingénierie logicielle autonome et les tâches d'entreprise à long horizon. Sur le benchmark OSWorld-Verified, qui évalue les agents capables d'utiliser un ordinateur de bureau, Qwen3.8-Max obtient un score de 86,1, devant GPT-5.6 Sol Max (83,2), Fable 5 (85,0) et Gemini 3.1 Pro (76,2). Le modèle affiche également les meilleurs résultats publiés sur PaperBench (93,0), TerminalBench 2.1 (86,6), Vision2Web (69,0), LVBench (81,8) et ERQA (77,8). Alibaba a par ailleurs annoncé la publication des poids ouverts de Qwen3.8-Max la semaine prochaine, accompagnés d'une version plus légère, Qwen3.8-27B, sans toutefois préciser les termes exacts de la licence. Cette annonce marque un tournant potentiellement important pour Alibaba, qui positionne son modèle non pas comme un assistant conversationnel mais comme un collègue autonome capable de mener à bien des projets s'étalant sur plusieurs jours plutôt que quelques minutes. Selon l'entreprise, Qwen3.8-Max peut réaliser seul des projets logiciels de plus de dix jours, reproduire des articles de recherche impliquant des milliers de lignes de code, optimiser de manière itérative la conception de puces électroniques et réviser continuellement ses plans à partir de retours multimodaux. Si la licence s'avère réellement permissive, comme Apache 2.0, il s'agirait de la première fois qu'un modèle Qwen de catégorie Max devient disponible pour un déploiement auto-hébergé, ce qui pourrait bouleverser l'adoption en entreprise face aux modèles propriétaires d'OpenAI, d'Anthropic ou de Google. Ces démonstrations restent toutefois produites par Alibaba elle-même et n'ont pas encore été vérifiées de façon indépendante. Cette sortie illustre une tendance de fond du secteur: la compétition entre modèles de pointe se spécialise de plus en plus. OpenAI concentre sa gamme GPT sur le raisonnement général et la productivité multimodale, Anthropic mise sur le code et la fiabilité en contexte long avec Claude, Google pousse Gemini vers des flux de travail multimodaux natifs du web, tandis que Moonshot AI a récemment introduit son modèle ouvert Kimi K3. Qwen3.8-Max tente de réunir plusieurs de ces atouts en un seul modèle, dans un contexte où les benchmarks récompensent désormais autant la capacité à mener à terme un flux de travail complet que la simple exactitude d'une réponse ponctuelle. La domination du modèle chinois n'est cependant pas totale: OpenAI conserve la tête sur le benchmark d'ingénierie logicielle professionnelle SWE-Pro, et Opus 4.8 reste devant sur certaines évaluations de développement ainsi que sur Agents' Last Exam, signe que la course aux modèles frontières se fragmente plutôt qu'elle ne désigne un vainqueur unique.

💬 Le score sur OSWorld, c'est Alibaba qui le mesure sur son propre modèle, donc je garde une réserve tant que personne d'indépendant ne l'a reproduit. Ce qui compte vraiment ici, c'est ailleurs : si la licence des poids ouverts s'avère bien permissive la semaine prochaine, ce sera la première fois qu'un Qwen catégorie Max devient auto-hébergeable, et ça change le rapport de force pour toute boîte qui ne veut plus dépendre d'un abonnement OpenAI ou Anthropic pour faire tourner un agent de code. Reste que la course aux modèles frontières ne désigne plus un vainqueur unique, elle se fragmente benchmark par benchmark.

LLMsActu
1 source
OpenAI dévoile GPT-5.6 en plein débat réglementaire sur l'IA aux États-Unis
2The Verge AI 

OpenAI dévoile GPT-5.6 en plein débat réglementaire sur l'IA aux États-Unis

OpenAI a dévoilé vendredi une préversion limitée de sa nouvelle suite de modèles GPT-5.6, moins de 24 heures après que les médias américains ont révélé que la startup avait accepté d'en décaler la sortie à la demande de l'administration Trump. La suite comprend trois modèles : Sol, le modèle phare ; Terra, un modèle intermédiaire conçu pour les tâches à fort volume ; et Luna, une option rapide et économique pour un usage quotidien. Tarifé à 5 dollars l'entrée et 30 dollars la sortie par million de tokens, Sol représente environ la moitié du coût du concurrent direct Claude Fable 5 d'Anthropic. GPT-5.6 est présenté comme particulièrement performant en programmation, en cybersécurité et en biologie, avec une capacité améliorée à maintenir le cap lors de tâches agentiques longues et complexes. Cette dernière caractéristique est centrale dans la course aux agents IA autonomes, où les modèles doivent enchaîner des dizaines d'étapes sans perdre le fil de l'objectif initial. La compétitivité tarifaire de Sol face aux offres haut de gamme d'Anthropic constitue un argument de poids pour les entreprises qui déploient ces modèles à grande échelle. La révélation d'une intervention gouvernementale dans le calendrier de sortie illustre les tensions croissantes entre l'industrie de l'IA et les autorités américaines, alors que Washington cherche à influencer la dynamique de développement sans pour autant réguler formellement le secteur. OpenAI, qui maintient des liens étroits avec l'administration depuis le début de l'année 2025, navigue ainsi entre impératifs commerciaux et pressions politiques dans une course technologique où chaque semaine de retard peut faire la différence face à ses rivaux.

UELa tarification compétitive de Sol (moitié du coût de Claude Fable 5) pourrait orienter les décisions des entreprises européennes déployant des modèles IA à grande échelle vers les offres OpenAI.

LLMsActu
1 source
OpenAI GPT-5.6 Sol / Terra / Luna : réservé aux partenaires de confiance
3Latent Space 

OpenAI GPT-5.6 Sol / Terra / Luna : réservé aux partenaires de confiance

OpenAI a lancé le 25 juin 2026 une nouvelle famille de modèles baptisée GPT-5.6, composée de trois variantes : Sol (flagship), Terra (milieu de gamme) et Luna (rapide et économique). Le déploiement est volontairement restreint : seul un groupe d'environ vingt entreprises considérées comme "partenaires de confiance" y a accès via Codex et l'API, avec un élargissement prévu "dans les prochaines semaines". Sam Altman a confirmé qu'OpenAI avait initialement prévu un lancement grand public, mais a modifié ses plans à la demande explicite du gouvernement américain. La tarification est structurée : Sol coûte 5 dollars pour un million de tokens en entrée et 30 dollars en sortie, Terra 2,50 et 15 dollars, Luna 1 et 6 dollars. Sur le plan des performances, OpenAI revendique que Sol Ultra atteint 91,9 % sur le benchmark Terminal-Bench 2.1, dépassant selon certains observateurs Claude Mythos 5, tandis que Terra serait le premier modèle de taille intermédiaire à franchir les 80 % sur ce même test. Deux nouvelles fonctionnalités ont également été introduites : le "max reasoning" pour des raisonnements prolongés et un "ultra mode" mobilisant des sous-agents pour des tâches complexes. Ce lancement marque un tournant dans la manière dont les grands modèles de langage atteignent le marché : pour la première fois, un déploiement frontier est ouvertement conditionné par une décision gouvernementale, transformant ce qui était jusqu'ici un processus commercial en un mécanisme de contrôle public. Pour les développeurs et entreprises qui comptaient sur un accès immédiat, cela signifie des semaines d'attente supplémentaires. Pour l'écosystème plus large, cela établit un précédent : les gouvernements peuvent désormais influencer directement le calendrier de mise à disposition des modèles les plus puissants. Sur le plan tarifaire, la famille GPT-5.6 challenge directement Anthropic : Sol se positionne en dessous de Claude Mythos 5 (10/50 dollars) tout en revendiquant des performances supérieures sur certains benchmarks, ce qui pourrait accélérer une guerre des prix sur le segment haut de gamme. Ce lancement s'inscrit dans un contexte de tensions croissantes autour de la sécurité des IA frontier. OpenAI a pris soin de préciser que Sol ne franchit pas le seuil "Cyber Critical" de son cadre de préparation aux risques : dans des évaluations sur Chromium et Firefox, le modèle a identifié des failles et des primitives d'exploitation, mais n'a pas produit de chaîne d'exploit fonctionnelle de manière autonome. Ce soin dans la communication signale que la pression réglementaire s'intensifie autour des capacités offensives des modèles. En parallèle, la négociation en cours entre Anthropic et ses investisseurs autour de Fable, et l'assouplissement des contrôles Mythos, suggèrent que tous les grands laboratoires naviguent simultanément entre course aux performances et contraintes institutionnelles grandissantes.

UELe déploiement restreint aux partenaires de confiance retarde l'accès des développeurs et entreprises européens, et le précédent d'une intervention gouvernementale américaine sur le calendrier de lancement pourrait influencer les approches réglementaires de l'UE en matière de diffusion des modèles frontier.

💬 Ce qui compte ici, c'est pas les trois variantes Sol/Terra/Luna. C'est qu'OpenAI a officiellement acquiescé à une demande du gouvernement américain pour retarder son lancement, et l'a dit publiquement, ce qui établit un précédent réel : les gouvernements ont désormais une prise directe sur le calendrier des modèles frontier. Sur les prix, Sol à 5/30 dollars face à Mythos à 10/50, c'est agressif, reste à voir si ça tient hors benchmarks maison.

LLMsOpinion
1 source
Opus 5 d'Anthropic devance largement Fable 5 et GPT-5.6 Sol sur le benchmark conçu pour mesurer l'intelligence réelle
4The Decoder 

Opus 5 d'Anthropic devance largement Fable 5 et GPT-5.6 Sol sur le benchmark conçu pour mesurer l'intelligence réelle

Claude Opus 5, le nouveau modèle d'Anthropic, a obtenu un score de 30,2 % sur ARC-AGI-3, un benchmark conçu pour mesurer l'intelligence réelle plutôt que la simple mémorisation de motifs. Ce résultat représente près du quadruple du précédent record de 7,8 %, détenu jusque là par GPT-5.6 Sol. Selon les concepteurs du test, Opus 5 a formulé de manière autonome des équations de réflexion pour résoudre certaines énigmes, un comportement qu'ils n'avaient jamais observé chez un autre modèle. Ils l'attribuent à un raisonnement logique nettement plus solide que celui de ses concurrents. Cet écart de performance est significatif car ARC-AGI a justement été conçu pour être résistant au bachotage et aux approches par force brute qui permettent souvent aux modèles de gonfler artificiellement leurs scores sur d'autres benchmarks. Un saut aussi net suggère qu'Opus 5 dispose de capacités de raisonnement abstrait et d'adaptation à des problèmes inédits bien supérieures à celles de la génération précédente, ce qui intéresse directement les entreprises cherchant des systèmes capables de résoudre des tâches complexes sans exemples préalables, au-delà de la simple génération de texte ou de code. ARC-AGI a été créé pour évaluer la fluidité cognitive des modèles, c'est-à-dire leur capacité à généraliser à partir de peu d'exemples, contrairement aux benchmarks classiques que les grands modèles finissent par saturer une fois entraînés dessus. Les versions précédentes de ce test avaient mis en évidence les limites persistantes des grands modèles de langage face au raisonnement véritablement nouveau. La progression rapide d'Anthropic, dans une course où OpenAI occupait jusqu'ici la tête avec GPT-5.6 Sol, relance la compétition entre laboratoires sur ce terrain précis, considéré par beaucoup comme un indicateur plus fiable du chemin vers une intelligence artificielle générale.

💬 Quadrupler le record sur un benchmark pensé justement pour résister au bachotage, ça ne s'explique pas par un peu plus de données ou un prompt mieux tourné. Le signal fort, c'est qu'Opus 5 invente ses propres équations pour résoudre les énigmes, un raisonnement qui n'était écrit nulle part dans son entraînement. Bon, sur le papier ça sent l'AGI qui approche, mais ARC-AGI teste des puzzles abstraits, pas la gestion d'un vrai projet client, donc je garde deux doigts de prudence avant de crier victoire.

LLMsActu
1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, l'essentiel de l'IA · désinscription en un clic