GPT-6 Astra perçoit la « matrice » et reprogramme directement d'autres modèles d'IA via leurs poids
Des chercheurs du MIT ont montré que GPT-6 Astra, le modèle d'OpenAI, est capable de lire et de réécrire délibérément les poids d'autres modèles d'IA, sans passer par un entraînement classique. Dans l'une des expériences, Astra a fait passer la précision en mathématiques d'un modèle Qwen de 7,9 % à 48,1 % en modifiant seulement 0,016 % de ses poids. Le modèle ne se contente pas d'analyser ces paramètres : il les interprète comme un texte structuré, repère ceux qui gouvernent un comportement donné, puis les modifie directement pour obtenir l'effet recherché.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de The Decoder. Lire l'article original →
L'enjeu est considérable pour l'optimisation des systèmes d'IA. Aujourd'hui, adapter un modèle à une tâche exige du réglage fin, des jeux de données et une puissance de calcul coûteuse. Si un modèle peut intervenir chirurgicalement sur une infime fraction des paramètres d'un autre, le temps et le coût de spécialisation pourraient chuter nettement, et des équipes disposant de peu de moyens pourraient améliorer des modèles ouverts. Cette capacité soulève aussi des questions de sécurité : un système capable de réécrire les poids d'un autre pourrait, en théorie, modifier ses comportements ou y introduire des failles. Les chercheurs soulignent toutefois que la méthode atteint des limites nettes et ne fonctionne pas de façon universelle sur toutes les tâches ou tous les modèles.
Ces travaux s'inscrivent dans le champ de l'interprétabilité mécaniste, qui cherche depuis plusieurs années à comprendre comment les réseaux de neurones encodent leurs connaissances, et dans celui de l'édition de modèles, où l'on tente de corriger des comportements ciblés sans réentraîner l'ensemble. Jusqu'ici, ces techniques reposaient sur des outils spécialisés ou sur des humains. Le fait qu'un modèle généraliste de pointe puisse remplir ce rôle marque un pas vers des systèmes qui améliorent d'autres systèmes. Les prochaines étapes porteront sur la robustesse de l'approche, son passage à l'échelle sur des modèles plus grands et l'encadrement de ses usages.
Pas d\'impact direct sur la France/UE