Aller au contenu principal
Recherche · Paper ·

Cmpnd lance dspy-wsp : la programmation dans l'espace des poids arrive dans DSPy

Cmpnd a publié dspy-wsp, un prototype d'optimiseur qui apporte la programmation dans l'espace des poids au framework DSPy. Baptisé WeightSpace, il s'insère dans n'importe quel programme et n'importe quelle métrique DSPy (licence MIT, installation via pip, DSPy 3.5 requis). Le principe : un grand modèle de langage de pointe, ici GPT-6-Astra, lit les poids d'un petit modèle « élève » et les modifie directement, sans gradient, sans boucle d'entraînement ni jeu de données de fine-tuning. Testé sur des modèles de décision ouverts de 0,6 à 9 milliards de paramètres, pour environ 5 à 10 dollars d'appels d'API, il a amélioré tous les modèles essayés. Sur le benchmark Typed Decisions, WeightSpace seul ajoute de 1,9 à 16,1 points, et jusqu'à 6,5 à 20,0 points avec l'ajout de ReAnchor. Le meilleur résultat concerne d1-omni-600M, passé de 50,9 % à 69,1 % (+18,3). À l'inverse, Clef-Flash (9 milliards) ne gagne que 1,9 point avec WeightSpace seul, et d1-omni-600M n'obtient que +2,8 avec la règle plus stricte de l'article original. Une exécution dure de 78 à 167 minutes.

2 min de lecture

Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie

Source

Résumé et traduction réalisés par Le Fil IA à partir de MarkTechPost. Lire l'article original →

L'intérêt est double. Pour les développeurs, l'approche offre un levier distinct des deux outils habituels : l'optimisation de prompts (MIPROv2, GEPA) ne touche jamais aux poids, tandis que le fine-tuning (BootstrapFinetune) exige des données, une boucle d'entraînement et en général un GPU. Ici, le modèle rédacteur formule une hypothèse, par exemple que certains neurones surévaluent une option, écrit du code pour les corriger et vérifie le résultat par quelques passes avant. Le résultat se livre sous forme de petit correctif vérifiable. Tous les tests ont tourné sur un seul Mac, avec environ 6 Go de mémoire pour des modèles de 2 milliards de paramètres, et 4 Go ou plus suffisent pour d1-omni-600M. Les limites sont toutefois nettes : l'outil est très expérimental, lent, et son effet s'atténue sur les modèles plus gros.

Le projet prolonge « Sparks of Weight-Space Programming », une recherche issue du MIT qui présente cette capacité comme émergente plutôt que comme une méthode figée. Les chercheurs ont mené neuf expériences : GPT-6-Astra a identifié le jeu (Breakout, Pong, Pac-Man, Freeway) de quatre réseaux PPO à partir de leurs seuls poids, et une modification de 3,5 % des poids d'une politique Kinetix, qui échouait sur 256 épisodes, l'a fait réussir sur 1 024. Sur MinAtar Breakout, un réseau initialisé à zéro et écrit en une fois a obtenu 517,4, contre 25,3 pour PPO après 500 millions de pas. Pour Qwen3.5-0.8B, qui bouclait sur des problèmes de maths, la modification de 131 072 poids (0,016 % du modèle) dans les couches MLP 15 et 19 a fait passer MATH-500 de 7,9 % à 48,1 % et GSM8K de 13,8 % à 67,1 %. Mais sur Gemma 3 270M, les gains (de 6,8 % à 7,0-7,7 %) n'ont pas été jugés réels : l'édition lève un obstacle sans créer une compétence absente. Dans dspy-wsp, le rédacteur (gpt-6-astra, effort de raisonnement maximal) travaille dans un bac à sable (sandbox-exec sur macOS, bubblewrap sur Linux), alterne blocs Python et blocs de passes avant sur un budget fixe de 25 passes, puis son meilleur correctif est évalué sur un jeu de validation caché, avec les mêmes exemples et les mêmes graines, séparé du jeu d'entraînement qui sert de terrain d'essai.

À lire ensuite

01[AINews] Les LLM peuvent lire et écrire les poids de réseaux de neurones : la « programmation dans l'espace des poids » évite le recours à Autoresearch dans la boucle d'auto-améliorationLatent SpaceRecherche 02Ambiance « vibe coding » pour les gènes : le langage quasi naturel arrive dans les logiciels de conception de protéines et de génomesArs Technica AIRecherche 03Anthropic lance FlashProve : des preuves cryptographiques qu'une réponse provient bien de poids de modèle déclarésMarkTechPostRecherche 
Dossier · Qwen3Suivi en continu par Le Fil IASuivre ce sujet →

Le brief du matin

L'essentiel de l'IA chaque jour. Gratuit, désinscription immédiate à tout moment.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, l'essentiel de l'IA · désinscription à tout moment

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.