LLMsMarkTechPost1h

Le méta-système de Poetiq construit un cadre universel améliorant tous les LLM sur LiveCodeBench Pro sans affinage

Résumé IASource uniqueImpact UE

La startup Poetiq a publié des résultats qui retiennent l'attention dans le domaine de l'IA : son système baptisé Meta-System a atteint un nouveau niveau de performance sur LiveCodeBench Pro, un benchmark compétitif de codage, en construisant et optimisant automatiquement son propre environnement d'inférence. Sans entraîner les modèles sous-jacents ni accéder à leurs paramètres internes, le Meta-System a permis à GPT 5.5 High de passer de 89,6 % à 93,9 % sur ce benchmark. Plus spectaculaire encore : Gemini 3.1 Pro, le modèle sur lequel le système a été optimisé, bondit de 78,6 % à 90,9 %, surpassant ainsi Gemini 3 Deep Think de Google lui-même, crédité de 88,8 % mais non accessible via API pour vérification externe. Il s'agit du troisième benchmark public de Poetiq, et le choix de LiveCodeBench Pro était délibéré.

Ce que Poetiq appelle un « harness » est la couche d'orchestration enveloppant un modèle de langage : elle contrôle comment le modèle est sollicité, comment les sorties sont structurées, comment les réponses sont assemblées sur plusieurs appels, et comment les solutions sont évaluées. Traditionnellement, ces architectures sont construites à la main par des ingénieurs. La proposition de Poetiq est que le Meta-System les construit et les optimise de manière entièrement automatique, par amélioration récursive. En pratique, le système développe de meilleures stratégies de questionnement, affine des chaînes de raisonnement séquentielles, et assemble les réponses de façon adaptive, en intégrant les apprentissages de tâches précédentes. L'impact est immédiat pour l'industrie : si un tel système peut améliorer n'importe quel modèle sans accès privilégié ni réentraînement coûteux, cela repositionne la compétition non plus uniquement sur la qualité intrinsèque des modèles, mais sur la sophistication de l'infrastructure qui les entoure.

LiveCodeBench Pro a été conçu pour résister à deux défauts récurrents des benchmarks : la contamination des données et le surapprentissage. Il puise ses problèmes dans les compétitions de programmation compétitive, valide les solutions via un cadre de tests complet, et impose des contraintes strictes de mémoire et de temps d'exécution, notamment en C++. Le benchmark est aussi mis à jour en continu, ce qui le distingue des évaluations statiques qui finissent par devenir obsolètes. Pour Poetiq, le codage représente la catégorie commerciale la plus répandue de l'IA aujourd'hui, mêlant raisonnement, récupération d'information et génération de logique procédurale complexe. L'entreprise entend démontrer que l'amélioration récursive automatique des harnesses constitue une voie complémentaire au scaling traditionnel des modèles, avec des gains substantiels à la clé pour tous les acteurs souhaitant tirer davantage de valeur des LLM existants.

Dans nos dossiers

GPT-5.5 Gemini

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

1The Information AI

Google constitue une équipe spécialisée pour améliorer ses modèles de code

Google a constitué une équipe spéciale de chercheurs et ingénieurs au sein de DeepMind, dédiée à l'amélioration de ses modèles d'IA pour la génération de code. Cette initiative, révélée par trois sources internes, vise à automatiser davantage le développement logiciel en interne, et à terme, à accélérer la recherche en intelligence artificielle elle-même. L'opération a été lancée en réponse directe aux récentes sorties de modèles d'Anthropic, selon deux des personnes interrogées. L'enjeu est considérable : les chercheurs de Google DeepMind estiment que les outils de codage d'Anthropic surpassent actuellement les capacités de Gemini dans ce domaine. Pour une entreprise dont l'infrastructure logicielle est l'une des plus complexes au monde, perdre du terrain sur la génération de code représente un désavantage compétitif majeur, aussi bien en productivité interne qu'en attractivité commerciale face aux développeurs. Cette mobilisation s'inscrit dans une course effrénée entre les grands laboratoires d'IA autour du codage autonome. Anthropic a fait de Claude un outil de référence pour les développeurs, notamment via des agents capables de modifier des bases de code entières. Google, malgré ses ressources considérables et ses modèles Gemini, se retrouve en position de rattrapage sur ce créneau stratégique. La capacité à automatiser sa propre recherche en IA constitue potentiellement un avantage décisif dans la compétition à long terme.

UELes développeurs et entreprises européens utilisant des outils de génération de code IA pourraient bénéficier à terme d'une amélioration des capacités de Gemini dans ce domaine concurrentiel.

LLMsActu

1 source

2MarkTechPost

Construire des systèmes à base d'agents prêts pour la production avec Z.AI GLM-5 : raisonnement, appel d'outils et streaming

Z.AI a publié un tutoriel complet présentant les capacités avancées de son modèle GLM-5, conçu pour construire des systèmes agentiques prêts pour la production. Le guide couvre l'intégralité du cycle de développement : configuration via le SDK Z.AI (compatible avec l'interface OpenAI), réponses en streaming, mode de raisonnement approfondi (dit "thinking mode"), conversations multi-tours, appels de fonctions, sorties structurées, et construction d'un agent multi-outils complet. L'installation se fait via pip avec les paquets zai-sdk et openai, et l'authentification repose sur une clé API obtenue gratuitement sur z.ai. Dès les premières lignes de code, GLM-5 répond à des questions techniques — comme expliquer l'architecture Mixture-of-Experts en trois phrases — avec une consommation de tokens détaillée et un contrôle fin via les paramètres temperature et max_tokens. Ce qui distingue GLM-5 des modèles classiques est son mode de raisonnement enchaîné (chain-of-thought), qui expose le processus interne du modèle avant de fournir une réponse finale. Sur des problèmes logiques ou mathématiques — l'exemple du fermier avec 17 moutons dont "tous sauf 9 s'enfuient" illustre le piège classique de la lecture rapide — le modèle affiche séparément son raisonnement intermédiaire et sa conclusion. Cette transparence est particulièrement précieuse pour les équipes qui déploient des agents autonomes dans des contextes critiques : débogage plus facile, auditabilité améliorée, et meilleure confiance dans les décisions du modèle. Le streaming en temps réel des tokens, géré chunk par chunk, rend l'expérience utilisateur fluide même pour des réponses longues et complexes. GLM-5 s'inscrit dans la dynamique actuelle d'ouverture des modèles chinois à l'écosystème international. Z.AI, filiale de Zhipu AI — laboratoire issu de l'Université Tsinghua — positionne GLM-5 comme un concurrent direct aux modèles d'OpenAI et Anthropic, avec une compatibilité API volontairement calquée sur le standard OpenAI pour faciliter la migration. La prise en charge native du function calling et des sorties structurées permet d'intégrer GLM-5 dans des pipelines d'automatisation complexes sans couche d'adaptation. Alors que les entreprises cherchent à diversifier leurs dépendances vis-à-vis des fournisseurs américains, ce type de modèle — accessible, documenté, et compatible avec les outils existants — représente une alternative crédible pour les développeurs européens et asiatiques construisant des applications d'IA en production.

UEGLM-5 offre aux développeurs européens une alternative compatible OpenAI pour diversifier leurs dépendances vis-à-vis des fournisseurs américains, accessible gratuitement via une clé API.

LLMsTuto

1 source

3AWS ML Blog

Affinage par renforcement avec un LLM comme évaluateur

Les grands modèles de langage (LLM) alimentent aujourd'hui les agents conversationnels les plus avancés, les outils créatifs et les systèmes d'aide à la décision. Mais leurs sorties brutes contiennent fréquemment des inexactitudes, des formulations problématiques ou des réponses en décalage avec les politiques d'usage, des défauts qui érodent la confiance et freinent leur déploiement à grande échelle. Pour y remédier, le Reinforcement Fine-Tuning (RFT) s'est imposé comme la méthode d'alignement de référence : il utilise des signaux de récompense automatisés pour éviter l'étiquetage manuel, coûteux et lent. Deux grandes approches coexistent : le RLVR (Reinforcement Learning with Verifiable Rewards), qui évalue les sorties du modèle via du code, et le RLAIF (Reinforcement Learning with AI Feedback), où un second modèle de langage joue le rôle de juge pour noter les réponses candidates. Amazon a publié une analyse approfondie de cette seconde méthode appliquée à ses modèles Nova, détaillant six étapes critiques pour concevoir et déployer efficacement un juge LLM. Là où les récompenses classiques se limitent à des scores numériques grossiers, correspondance de sous-chaînes, règles artisanales, un juge LLM raisonne simultanément sur plusieurs dimensions : exactitude, ton, sécurité, pertinence. Il produit un retour contextualisé, capable de capter des nuances fines et des spécificités métier, sans nécessiter de réentraînement spécifique à chaque tâche. Autre avantage décisif : l'explicabilité. Le juge fournit des rationales (par exemple, "la réponse A cite des études évaluées par des pairs"), ce qui accélère les itérations, pointe précisément les modes de défaillance et réduit les désalignements cachés, quelque chose qu'une fonction de récompense statique ne peut pas faire. Cette flexibilité rend le RLAIF particulièrement précieux lorsque les critères de qualité sont flous ou difficiles à formaliser en règles rigides. L'implémentation repose sur des choix architecturaux structurants. Le premier est le type de juge : l'évaluation par rubrique attribue un score absolu à une réponse unique selon des critères prédéfinis, idéale quand les dimensions de qualité sont claires et quantifiables ; l'évaluation par préférence compare deux réponses côte à côte et désigne la meilleure, ce qui correspond davantage à l'évaluation humaine naturelle mais exige des données de référence. Amazon recommande de commencer par les rubriques en l'absence de données comparatives, et privilégie un scoring booléen (succès/échec) pour leur robustesse. La définition précise des critères d'évaluation constitue ensuite le socle de tout entraînement RLAIF efficace : des prompts explicites, des exemples concrets de ce qui distingue une bonne réponse d'une mauvaise, et une attention particulière aux biais potentiels du juge lui-même. Ce cadre méthodologique illustre comment l'industrie cherche à industrialiser l'alignement des LLM sans dépendre de l'annotation humaine à grande échelle.

LLMsPaper

1 source

4MarkTechPost

Alibaba publie Qwen3.6-27B, un modèle dense qui surpasse le MoE 397B sur les benchmarks de codage par agents

L'équipe Qwen d'Alibaba a publié Qwen3.6-27B, un modèle dense en open-weight de 27 milliards de paramètres disponible sous licence Apache 2.0 sur Hugging Face, en deux variantes : BF16 et FP8. Ce modèle se distingue notamment sur les benchmarks de codage agentique, où il surpasse des modèles bien plus imposants : il atteint 1 487 points sur QwenWebBench (génération de code frontend) contre 1 068 pour son prédécesseur Qwen3.5-27B, et 36,2 sur NL2Repo (génération de code à l'échelle d'un dépôt) contre 27,3. Sur SWE-bench Verified, référence du secteur pour les agents logiciels autonomes, il atteint 77,2, se rapprochant des 80,9 de Claude 4.5 Opus. Fait notable : ces performances dépassent celles du Qwen3.5-397B-A17B, un modèle Mixture-of-Experts quatorze fois plus grand. L'intérêt de cette publication tient à deux innovations concrètes. La première concerne le codage agentique : le modèle a été spécifiquement optimisé pour naviguer dans de larges bases de code, modifier plusieurs fichiers simultanément et produire du code exécutable cohérent, couvrant sept catégories allant du design web à la 3D. La seconde innovation, baptisée Thinking Preservation, répond à une limite structurelle des LLM actuels : par défaut, le raisonnement intermédiaire (chain-of-thought) n'est conservé que pour le message en cours et disparaît au tour suivant. Qwen3.6-27B propose une option pour conserver et réutiliser ces traces de raisonnement sur l'ensemble d'une conversation, ce qui réduit les tokens redondants et améliore l'utilisation du cache KV dans les workflows d'agents itératifs. Cette sortie s'inscrit dans une stratégie accélérée d'Alibaba sur les modèles ouverts : Qwen3.6-27B est le deuxième modèle de la famille Qwen3.6, après le Qwen3.6-35B-A3B (MoE à 3B paramètres actifs) lancé quelques semaines plus tôt, lui-même héritier de la série Qwen3.5. Sur le plan architectural, le modèle adopte une structure hybride originale répartie sur 64 couches : trois sublayers sur quatre utilisent Gated DeltaNet, une attention linéaire en O(n) bien plus efficace que l'attention classique quadratique O(n²), tandis qu'une couche sur quatre conserve l'attention standard. Cette conception permet de traiter de longs contextes avec un coût mémoire réduit, tout en maintenant la précision sur les tâches complexes. Compatible avec SGLang, vLLM et Hugging Face Transformers, le modèle vise directement les développeurs qui construisent des agents de codage, dans un segment où Anthropic et OpenAI restent pour l'instant en tête.

LLMsOpinion

1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour