Aller au contenu principal
Le Fil IA
Le Fil IAL'actu IA, décodée
Athena : représentations intermédiaires pour la génération itérative d'applications guidée par LLM
RechercheApple Machine Learning6sem

Athena : représentations intermédiaires pour la génération itérative d'applications guidée par LLM

Résumé IASource uniqueImpact UE
Source originale ↗·

Générer automatiquement le code d'une interface utilisateur complète à partir d'un grand modèle de langage (LLM) reste un défi technique majeur. Des chercheurs ont développé Athena, un système qui introduit des représentations intermédiaires pour décomposer et guider ce processus de génération de manière itérative. Le problème central est que les interfaces applicatives modernes sont constituées de multiples fichiers interdépendants — écrans, flux de navigation, modèles de données — dont la cohérence est difficile à maintenir dans une seule requête adressée à un LLM. La génération directe produit typiquement un fichier monolithique, peu lisible et difficile à maintenir.

Athena change d'approche en introduisant une étape de structuration intermédiaire avant la génération finale du code. Plutôt que de demander à un LLM de tout produire en une seule passe, le système décompose la tâche en représentations abstraites qui servent d'échafaudage — d'où le terme "scaffolded generation". Cela permet au modèle de raisonner sur l'architecture de l'application avant d'écrire la moindre ligne de code, réduisant les incohérences entre composants.

Cette recherche s'inscrit dans un mouvement plus large visant à rendre les LLMs réellement utilisables pour le développement logiciel complet, au-delà des simples snippets de code. Les outils actuels de génération de code — GitHub Copilot, Cursor, ou encore Claude — peinent encore à produire des applications entières et cohérentes. Athena propose une piste concrète pour franchir ce cap, en s'inspirant des pratiques de décomposition utilisées par les développeurs humains eux-mêmes. Les suites naturelles incluent l'intégration de ce type d'approche dans des environnements de développement intégrés et des agents de codage autonomes.

Dans nos dossiers

Cursor

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

SQUIRE : création interactive d'interfaces utilisateur par représentations intermédiaires
1Apple Machine Learning 

SQUIRE : création interactive d'interfaces utilisateur par représentations intermédiaires

Des chercheurs ont présenté SQUIRE (Slot QUery Intermediate REpresentations), un nouveau système d'assistance à la création d'interfaces utilisateur conçu pour aider les développeurs front-end à prototyper plus efficacement. L'outil s'appuie sur l'IA générative mais introduit une couche intermédiaire structurée, les "slot queries", entre l'intention du développeur et le code produit, afin de rendre la génération plus prévisible et plus contrôlable. Le problème que SQUIRE cherche à résoudre est bien réel : les assistants IA actuels, qui fonctionnent via une interface de chat, offrent beaucoup de flexibilité mais peu de précision. Le langage naturel reste ambigu, et les modèles peuvent répondre de façon imprévisible, forçant les développeurs à itérer longuement avant d'obtenir un résultat satisfaisant. En introduisant des représentations intermédiaires explicites, SQUIRE permet à l'utilisateur de spécifier ses intentions de manière plus structurée, réduisant ainsi les allers-retours et accélérant le cycle de prototypage. Cette approche s'inscrit dans une tendance plus large de la recherche en interaction homme-machine : plutôt que de confier entièrement la génération à un modèle de langage via un prompt libre, on intercale des étapes de structuration qui préservent le contrôle humain. Des systèmes similaires ont émergé dans d'autres domaines de la génération de code, et SQUIRE applique ce principe au domaine spécifique des interfaces graphiques, où la précision visuelle et fonctionnelle est particulièrement exigeante. Les suites potentielles incluent une intégration dans des environnements de développement existants comme Figma ou VS Code.

RecherchePaper
1 source
Apprentissage de représentations motrices à long terme pour la génération efficace de cinématiques
2Apple Machine Learning 

Apprentissage de représentations motrices à long terme pour la génération efficace de cinématiques

Des chercheurs ont développé une méthode permettant de prédire et générer des mouvements réalistes à long terme de façon bien plus efficace que les approches existantes. Leur système repose sur un espace de représentation de mouvement appris à partir de vastes collections de trajectoires extraites par des modèles de suivi d'objets. Plutôt que de synthétiser des vidéos complètes pour modéliser la dynamique d'une scène, le modèle opère directement sur ces embeddings compacts, ce qui réduit drastiquement le coût de calcul. Les séquences de mouvement générées peuvent être guidées par des instructions en langage naturel ou par des indications spatiales directement pointées sur l'image. Cette avancée s'attaque à un goulot d'étranglement central en vision artificielle : explorer plusieurs futurs possibles à partir d'une même scène est actuellement prohibitif si chaque hypothèse nécessite la génération d'une vidéo pixel par pixel. En travaillant directement sur des représentations condensées du mouvement, la méthode permet de simuler des dynamiques longues et cohérentes avec une fraction des ressources habituellement requises. Les bénéfices sont concrets pour la robotique, l'animation et la génération de données synthétiques pour l'entraînement d'autres modèles d'IA. La prédiction de mouvement est un enjeu fondamental de l'intelligence visuelle : comprendre comment les objets et les personnes vont se déplacer est indispensable pour qu'une machine interprète le monde physique. Si les grands modèles vidéo ont progressé dans la compréhension des scènes dynamiques, leur usage pour simuler des futurs alternatifs demeure trop lourd pour être pratique. Cette approche par embeddings de mouvement appris à grande échelle pourrait s'imposer comme un composant clé des futurs modèles du monde, ces systèmes qui cherchent à simuler la réalité physique de manière efficace et pilotable.

RecherchePaper
1 source
Qwen AI publie Qwen-Scope : une suite open source d'autoencodeurs épars pour exploiter les représentations internes des LLM
3MarkTechPost 

Qwen AI publie Qwen-Scope : une suite open source d'autoencodeurs épars pour exploiter les représentations internes des LLM

L'équipe Qwen, filiale IA d'Alibaba, vient de publier Qwen-Scope, une suite open-source d'autoencodeurs épars (SAE) entraînés sur les familles de modèles Qwen3 et Qwen3.5. La publication comprend 14 groupes de poids SAE répartis sur sept variantes de modèles : cinq modèles denses (Qwen3-1.7B, Qwen3-8B, Qwen3.5-2B, Qwen3.5-9B et Qwen3.5-27B) et deux modèles mixture-of-experts (Qwen3-30B-A3B et Qwen3.5-35B-A3B). Concrètement, un autoencodeur épars fonctionne comme une couche de traduction entre les activations brutes du réseau de neurones et des concepts compréhensibles par l'humain : pour chaque couche transformeur, Qwen-Scope entraîne un SAE séparé qui décompose les états internes en un large dictionnaire de caractéristiques latentes, chaque entrée n'en activant qu'un petit sous-ensemble. Chaque caractéristique tend à correspondre à un concept précis, qu'il s'agisse d'une langue, d'un style ou d'un comportement lié à la sécurité. La largeur de ces dictionnaires atteint jusqu'à 128 000 dimensions pour les modèles MoE, soit une expansion de 64 fois la taille cachée du modèle. Cet outil répond à l'un des problèmes les plus frustrants du développement de LLMs : leur opacité totale. Quand un modèle génère des réponses dans la mauvaise langue, se répète à l'infini ou refuse des requêtes inoffensives, les développeurs disposent de très peu de moyens pour en comprendre la cause à l'échelle des calculs internes. Qwen-Scope ouvre deux leviers concrets. Le premier est le pilotage à l'inférence : en ajoutant ou soustrayant une direction de caractéristique dans le flux résiduel selon la formule h' = h + αd, il devient possible d'orienter le comportement du modèle sans modifier aucun poids. L'équipe illustre cela sur Qwen3 : un modèle qui mêlait involontairement du chinois dans ses réponses en anglais a été corrigé en supprimant la caractéristique "langue chinoise" (id : 6159), identifiée en quelques secondes par son niveau d'activation élevé. Le second levier est l'analyse d'évaluation sans forward pass coûteux : les activations SAE servent de proxy pour cartographier quelles capacités sont réellement testées par un benchmark, et détecter si deux jeux d'évaluation sont redondants. Cette publication s'inscrit dans le courant de l'interprétabilité mécaniste, un champ de recherche en pleine expansion qui vise à rendre les LLMs auditables de l'intérieur. Des acteurs comme Anthropic et DeepMind ont déjà investi dans des SAEs pour leurs propres modèles, mais la mise à disposition open-source de tels outils sur une famille de modèles aussi large reste rare. Pour les équipes qui utilisent Qwen en production, Qwen-Scope représente une infrastructure de diagnostic inédite : détecter des biais encodés dans les représentations internes, affiner des comportements sans fine-tuning coûteux, ou auditer la couverture réelle de leurs protocoles d'évaluation. La prochaine étape logique serait l'extension de ces outils aux modèles de raisonnement et aux architectures multimodales, deux domaines où l'opacité interne reste particulièrement problématique.

UELes entreprises européennes déployant des modèles Qwen en production peuvent exploiter Qwen-Scope pour auditer les biais encodés dans les représentations internes et faciliter la conformité aux exigences d'explicabilité de l'AI Act.

RecherchePaper
1 source
AsgardBench : un benchmark pour la planification interactive ancrée dans la vision
4Microsoft Research 

AsgardBench : un benchmark pour la planification interactive ancrée dans la vision

Des chercheurs ont publié AsgardBench, un nouveau benchmark conçu pour évaluer la capacité des agents IA incarnés à adapter leurs plans d'action en temps réel en fonction de ce qu'ils observent visuellement. Le système repose sur 108 scénarios contrôlés répartis en 12 types de tâches, tous construits sur AI2-THOR, un environnement de simulation 3D interactif représentant des intérieurs domestiques. Concrètement, un agent reçoit une instruction ménagère — nettoyer une tasse, remplir un évier, éteindre une lumière — et doit proposer à chaque étape une séquence complète d'actions, dont seule la première s'exécute. Il reçoit ensuite une image mise à jour et un signal binaire (succès ou échec), puis doit réviser son plan en conséquence. Ce qui rend le benchmark exigeant : les objets peuvent se trouver dans des états variables (tasse propre ou sale, évier vide ou encombré), si bien que la même instruction peut nécessiter des séquences d'actions radicalement différentes selon ce que l'agent perçoit. L'intérêt d'AsgardBench est de cibler précisément une compétence souvent noyée dans les évaluations existantes : l'adaptation du plan à partir de l'observation visuelle. La plupart des benchmarks actuels mêlent navigation, perception et contrôle physique dans une seule épreuve, ce qui rend impossible de savoir si un agent performe grâce à sa compréhension de l'environnement ou simplement parce que l'environnement est suffisamment prévisible pour être scripté. En isolant la révision de plan — sans demander à l'agent de naviguer dans une pièce ni de raisonner sur l'emplacement précis d'un meuble — le benchmark permet de mesurer directement si le modèle utilise ce qu'il voit pour décider de ce qu'il fait. C'est une distinction critique pour les applications réelles : un robot ménager qui ignore qu'une tâche est déjà accomplie va gaspiller des ressources, voire causer des erreurs en chaîne. Ce travail s'inscrit dans un contexte de forte effervescence autour de l'IA incarnée (embodied AI), un domaine où des acteurs comme Google DeepMind, Meta et plusieurs laboratoires universitaires investissent massivement pour créer des agents capables d'agir dans des environnements physiques ou simulés. AI2-THOR, développé par l'Allen Institute for AI, est déjà largement utilisé comme terrain d'entraînement pour ces systèmes. AsgardBench ne cherche pas à remplacer les benchmarks existants mais à combler un angle mort : la capacité de replanning visuel sous feedback minimal. Les suites probables incluent des évaluations sur des environnements plus ouverts, des instructions plus ambiguës, ou l'intégration de modèles multimodaux de nouvelle génération comme GPT-4o ou Gemini 2.0, dont la capacité à raisonner visuellement en boucle fermée reste encore peu documentée dans des conditions aussi contrôlées.

RecherchePaper
1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour