Guide du prompting systématique : contraintes négatives, sorties JSON structurées et échantillonnage multi-hypothèses verbalisé

Entraîner Gemma-3 au raisonnement mathématique structuré avec Tunix GRPO, adaptateurs LoRA et récompenses GSM8K

Un tutoriel technique récemment publié détaille comment entraîner Gemma-3, le petit modèle de langage de Google, à résoudre des problèmes mathématiques du jeu de données GSM8K grâce à l'apprentissage par renforcement. La méthode s'appuie sur Tunix, une bibliothèque construite sur JAX, associée à des adaptateurs LoRA de rang 32 et un algorithme appelé GRPO, pour Group Relative Policy Optimization. Le modèle utilisé est Gemma-3-1b-it, une version d'un milliard de paramètres optimisée pour suivre des instructions. Le processus complet comprend la préparation de l'environnement sur Google Colab, l'authentification via Hugging Face, le chargement du modèle, puis la mise en forme des exercices GSM8K dans un format de prompt exigeant à la fois un raisonnement structuré et une réponse numérique finale. Des fonctions de récompense évaluent ensuite deux critères précis: le respect du format demandé et l'exactitude mathématique du résultat. L'entraînement utilise des paramètres spécifiques, dont un taux d'apprentissage de 3e-6, un coefficient bêta de 0,08 pour GRPO, et une limite de 100 étapes d'entraînement, avec seulement deux générations par groupe d'échantillonnage. L'intérêt de cette approche réside dans son accessibilité: en n'entraînant que les poids des adaptateurs LoRA plutôt que l'intégralité du modèle, la méthode reste suffisamment légère pour fonctionner sur un seul accélérateur graphique, GPU ou TPU, au lieu de nécessiter une infrastructure de calcul massive. Cela ouvre la porte à des chercheurs et développeurs disposant de ressources limitées pour expérimenter avec des techniques de raisonnement avancées, habituellement réservées aux grands laboratoires disposant de clusters entiers. Pour l'industrie, cela illustre une tendance de fond: l'optimisation de petits modèles via des méthodes d'entraînement ciblées peut rivaliser, sur des tâches spécifiques comme le raisonnement mathématique structuré, avec des approches plus coûteuses appliquées à des modèles beaucoup plus grands. Les développeurs d'applications éducatives ou d'assistants spécialisés en mathématiques pourraient particulièrement bénéficier de cette démonstration pratique. Cette initiative s'inscrit dans un mouvement plus large de démocratisation des techniques de renforcement appliquées aux modèles de langage, où GRPO s'est imposé comme une alternative plus simple à des méthodes comme PPO pour aligner les modèles sur des objectifs précis sans nécessiter de modèle de récompense séparé. Google, qui développe à la fois Gemma et Tunix, cherche ainsi à démontrer la viabilité de son écosystème open source face à des solutions concurrentes. Le recours à GSM8K, un jeu de données de référence pour évaluer les capacités de raisonnement arithmétique des modèles, s'inscrit dans une pratique désormais standard pour mesurer les progrès en matière de logique mathématique. À mesure que ces outils se diffusent, on peut s'attendre à voir émerger davantage de variantes appliquées à d'autres domaines de raisonnement structuré, comme le code ou la logique formelle, avec des coûts de calcul toujours plus réduits.

💬 Ce qui compte ici, c'est pas Gemma-3 ni GSM8K, c'est que GRPO + LoRA font tourner du RL sur un seul GPU. Ça change la donne: le fine-tuning par renforcement, réservé il y a un an aux labos avec des clusters, devient un TP qu'un dev solo lance sur Colab. Reste à voir si ça tient sur des tâches moins balisées que des maths de collège, mais pour le raisonnement structuré, la course au "plus gros modèle" perd un peu de son sens.

L'hypothèse de LoRA qui ne tient pas en production

LoRA (Low-Rank Adaptation) est devenu la méthode de référence pour adapter les grands modèles de langage à moindre coût : plutôt que de modifier l'intégralité des paramètres d'un modèle, la technique n'entraîne que de petites matrices de rang réduit, ce qui diminue considérablement la mémoire et le temps de calcul nécessaires. Mais LoRA repose sur une hypothèse silencieuse : toutes les mises à jour d'un modèle se ressemblent structurellement. En réalité, ce n'est pas le cas. Quand on fine-tune un modèle pour modifier son style (ton, format, persona), les changements sont concentrés dans quelques dimensions seulement, et LoRA les gère parfaitement avec un rang faible comme rank-8. En revanche, quand on cherche à lui enseigner de nouvelles connaissances factuelles (données médicales, statistiques sportives, informations juridiques), l'information est distribuée sur de nombreuses dimensions simultanément, et un rang faible ne peut en capturer qu'une fraction : le modèle paraît sûr de lui mais produit des réponses incomplètes ou incorrectes. Augmenter le rang pour compenser déclenche un autre problème : la formule de mise à l'échelle standard de LoRA, qui divise par r, affaiblit le signal d'apprentissage à mesure que le rang grandit. RS-LoRA (Rank-Stabilized LoRA) corrige cela en remplaçant la division par r par une division par √r, un changement d'un seul caractère dans le code qui stabilise l'apprentissage même à des rangs élevés comme rank-32. Les conséquences pratiques sont significatives pour toutes les équipes qui déploient des LLMs dans des domaines à forte densité factuelle : médecine, droit, finance. Utiliser un LoRA standard pour injecter des connaissances spécialisées crée une illusion de performance, le modèle répond avec fluidité et apparente confiance, mais ses réponses peuvent être partiellement fausses. Le problème est d'autant plus dangereux qu'il reste invisible : sans tests rigoureux sur les faits précis que l'on cherchait à enseigner, le modèle passe tous les benchmarks généraux et échoue silencieusement sur les cas critiques en production. Cette limitation de LoRA n'est pas nouvelle dans la littérature académique, mais elle reste sous-estimée dans les pratiques industrielles. LoRA a été introduit en 2021 par des chercheurs de Microsoft comme alternative efficace au fine-tuning complet, et il s'est imposé comme méthode dominante grâce à sa facilité d'implémentation dans des bibliothèques comme Hugging Face PEFT. RS-LoRA représente l'une des améliorations formalisées de cette approche, aux côtés d'autres variantes comme DoRA ou AdaLoRA, qui cherchent toutes à mieux adapter la technique selon les régimes d'apprentissage. À mesure que les LLMs s'imposent dans des secteurs critiques, savoir quelle technique choisir selon le type de connaissance à injecter devient une compétence essentielle pour les équipes ML, bien au-delà du sujet de recherche théorique.

OpenAI améliore GPT-5.5 Instant : achats, contraintes complexes et compréhension des intentions utilisateur

OpenAI a mis à jour GPT-5.5 Instant, le modèle par défaut pour les utilisateurs gratuits de ChatGPT, le 24 juin 2026. Cette révision, annoncée sur X, vise à rendre le modèle "bien plus agréable à utiliser" selon la formule de l'entreprise, avec des améliorations concrètes sur la reconnaissance de l'intention derrière une question, la qualité des recommandations shopping et locales, ainsi que la gestion des contraintes multiples dans une même requête. Le déploiement a d'abord touché les abonnés payants avant d'être étendu aux utilisateurs gratuits dès le 25 juin. L'alias API chat-latest a également été mis à jour pour pointer vers cette nouvelle version, mais OpenAI maintient le modèle gpt-5.5 distinct pour les usages en production. Fait notable: aucun benchmark chiffré n'a été publié pour quantifier ces améliorations. Pour les millions d'utilisateurs quotidiens de ChatGPT, le changement le plus visible concerne la capacité du modèle à saisir le vrai but derrière une question, même formulée de manière imprécise. Là où les grands modèles de langage ont longtemps achoppé sur les prompts comportant plusieurs contraintes simultanées, GPT-5.5 Instant est désormais censé mieux les respecter toutes, sans en ignorer certaines au profit d'une réponse générique. Cette amélioration est particulièrement attendue dans les scénarios de prise de décision: planification, comparaison d'options, recherche locale. Pour les développeurs utilisant l'API, l'impact est plus limité: la mise à jour concerne avant tout l'expérience ChatGPT côté consommateur, pas le modèle gpt-5.5 exposé en production. GPT-5.5 Instant avait été lancé en mai 2026, à peine deux mois plus tôt, pour remplacer GPT-5.3 Instant, dont les lacunes étaient devenues criantes. Ce précédent modèle pointait à la 44e place des benchmarks Arena, un signal d'alarme pour OpenAI qui avait besoin d'un solide modèle de base pour ses centaines de millions d'utilisateurs. Le lancement de mai avait apporté des résultats internes significatifs: 52,5% de réduction des hallucinations sur des sujets sensibles (médical, juridique, financier) et 37,3% de baisse des erreurs factuelles. Mais cette version avait aussi introduit les "memory sources", une fonctionnalité permettant aux utilisateurs de voir quels fichiers ou conversations passées influencent les réponses personnalisées. Ce mécanisme s'est révélé problématique pour les entreprises utilisant des pipelines RAG, les journaux du modèle entrant en conflit avec les bases vectorielles locales. La mise à jour de juin ne semble pas modifier ce système, se concentrant plutôt sur la fluidité conversationnelle et l'utilité pratique pour le grand public.

Construire des systèmes à base d'agents prêts pour la production avec Z.AI GLM-5 : raisonnement, appel d'outils et streaming

Z.AI a publié un tutoriel complet présentant les capacités avancées de son modèle GLM-5, conçu pour construire des systèmes agentiques prêts pour la production. Le guide couvre l'intégralité du cycle de développement : configuration via le SDK Z.AI (compatible avec l'interface OpenAI), réponses en streaming, mode de raisonnement approfondi (dit "thinking mode"), conversations multi-tours, appels de fonctions, sorties structurées, et construction d'un agent multi-outils complet. L'installation se fait via pip avec les paquets zai-sdk et openai, et l'authentification repose sur une clé API obtenue gratuitement sur z.ai. Dès les premières lignes de code, GLM-5 répond à des questions techniques, comme expliquer l'architecture Mixture-of-Experts en trois phrases, avec une consommation de tokens détaillée et un contrôle fin via les paramètres temperature et max_tokens. Ce qui distingue GLM-5 des modèles classiques est son mode de raisonnement enchaîné (chain-of-thought), qui expose le processus interne du modèle avant de fournir une réponse finale. Sur des problèmes logiques ou mathématiques, l'exemple du fermier avec 17 moutons dont "tous sauf 9 s'enfuient" illustre le piège classique de la lecture rapide, le modèle affiche séparément son raisonnement intermédiaire et sa conclusion. Cette transparence est particulièrement précieuse pour les équipes qui déploient des agents autonomes dans des contextes critiques : débogage plus facile, auditabilité améliorée, et meilleure confiance dans les décisions du modèle. Le streaming en temps réel des tokens, géré chunk par chunk, rend l'expérience utilisateur fluide même pour des réponses longues et complexes. GLM-5 s'inscrit dans la dynamique actuelle d'ouverture des modèles chinois à l'écosystème international. Z.AI, filiale de Zhipu AI, laboratoire issu de l'Université Tsinghua, positionne GLM-5 comme un concurrent direct aux modèles d'OpenAI et Anthropic, avec une compatibilité API volontairement calquée sur le standard OpenAI pour faciliter la migration. La prise en charge native du function calling et des sorties structurées permet d'intégrer GLM-5 dans des pipelines d'automatisation complexes sans couche d'adaptation. Alors que les entreprises cherchent à diversifier leurs dépendances vis-à-vis des fournisseurs américains, ce type de modèle, accessible, documenté, et compatible avec les outils existants, représente une alternative crédible pour les développeurs européens et asiatiques construisant des applications d'IA en production.