Aller au contenu principal
Athena : représentations intermédiaires pour la génération itérative d'applications guidée par LLM
RechercheApple Machine Learning · 1 min de lecture

Athena : représentations intermédiaires pour la génération itérative d'applications guidée par LLM

Source originale ↗·

Générer automatiquement le code d'une interface utilisateur complète à partir d'un grand modèle de langage (LLM) reste un défi technique majeur. Des chercheurs ont développé Athena, un système qui introduit des représentations intermédiaires pour décomposer et guider ce processus de génération de manière itérative. Le problème central est que les interfaces applicatives modernes sont constituées de multiples fichiers interdépendants, écrans, flux de navigation, modèles de données, dont la cohérence est difficile à maintenir dans une seule requête adressée à un LLM. La génération directe produit typiquement un fichier monolithique, peu lisible et difficile à maintenir.

Athena change d'approche en introduisant une étape de structuration intermédiaire avant la génération finale du code. Plutôt que de demander à un LLM de tout produire en une seule passe, le système décompose la tâche en représentations abstraites qui servent d'échafaudage, d'où le terme "scaffolded generation". Cela permet au modèle de raisonner sur l'architecture de l'application avant d'écrire la moindre ligne de code, réduisant les incohérences entre composants.

Cette recherche s'inscrit dans un mouvement plus large visant à rendre les LLMs réellement utilisables pour le développement logiciel complet, au-delà des simples snippets de code. Les outils actuels de génération de code, GitHub Copilot, Cursor, ou encore Claude, peinent encore à produire des applications entières et cohérentes. Athena propose une piste concrète pour franchir ce cap, en s'inspirant des pratiques de décomposition utilisées par les développeurs humains eux-mêmes. Les suites naturelles incluent l'intégration de ce type d'approche dans des environnements de développement intégrés et des agents de codage autonomes.

Dans nos dossiers

Cet article vous a été utile ?

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

SQUIRE : création interactive d'interfaces utilisateur par représentations intermédiaires
1Apple Machine Learning 

SQUIRE : création interactive d'interfaces utilisateur par représentations intermédiaires

Des chercheurs ont présenté SQUIRE (Slot QUery Intermediate REpresentations), un nouveau système d'assistance à la création d'interfaces utilisateur conçu pour aider les développeurs front-end à prototyper plus efficacement. L'outil s'appuie sur l'IA générative mais introduit une couche intermédiaire structurée, les "slot queries", entre l'intention du développeur et le code produit, afin de rendre la génération plus prévisible et plus contrôlable. Le problème que SQUIRE cherche à résoudre est bien réel : les assistants IA actuels, qui fonctionnent via une interface de chat, offrent beaucoup de flexibilité mais peu de précision. Le langage naturel reste ambigu, et les modèles peuvent répondre de façon imprévisible, forçant les développeurs à itérer longuement avant d'obtenir un résultat satisfaisant. En introduisant des représentations intermédiaires explicites, SQUIRE permet à l'utilisateur de spécifier ses intentions de manière plus structurée, réduisant ainsi les allers-retours et accélérant le cycle de prototypage. Cette approche s'inscrit dans une tendance plus large de la recherche en interaction homme-machine : plutôt que de confier entièrement la génération à un modèle de langage via un prompt libre, on intercale des étapes de structuration qui préservent le contrôle humain. Des systèmes similaires ont émergé dans d'autres domaines de la génération de code, et SQUIRE applique ce principe au domaine spécifique des interfaces graphiques, où la précision visuelle et fonctionnelle est particulièrement exigeante. Les suites potentielles incluent une intégration dans des environnements de développement existants comme Figma ou VS Code.

RecherchePaper
1 source
Apprentissage de représentations motrices à long terme pour la génération efficace de cinématiques
2Apple Machine Learning 

Apprentissage de représentations motrices à long terme pour la génération efficace de cinématiques

Des chercheurs ont développé une méthode permettant de prédire et générer des mouvements réalistes à long terme de façon bien plus efficace que les approches existantes. Leur système repose sur un espace de représentation de mouvement appris à partir de vastes collections de trajectoires extraites par des modèles de suivi d'objets. Plutôt que de synthétiser des vidéos complètes pour modéliser la dynamique d'une scène, le modèle opère directement sur ces embeddings compacts, ce qui réduit drastiquement le coût de calcul. Les séquences de mouvement générées peuvent être guidées par des instructions en langage naturel ou par des indications spatiales directement pointées sur l'image. Cette avancée s'attaque à un goulot d'étranglement central en vision artificielle : explorer plusieurs futurs possibles à partir d'une même scène est actuellement prohibitif si chaque hypothèse nécessite la génération d'une vidéo pixel par pixel. En travaillant directement sur des représentations condensées du mouvement, la méthode permet de simuler des dynamiques longues et cohérentes avec une fraction des ressources habituellement requises. Les bénéfices sont concrets pour la robotique, l'animation et la génération de données synthétiques pour l'entraînement d'autres modèles d'IA. La prédiction de mouvement est un enjeu fondamental de l'intelligence visuelle : comprendre comment les objets et les personnes vont se déplacer est indispensable pour qu'une machine interprète le monde physique. Si les grands modèles vidéo ont progressé dans la compréhension des scènes dynamiques, leur usage pour simuler des futurs alternatifs demeure trop lourd pour être pratique. Cette approche par embeddings de mouvement appris à grande échelle pourrait s'imposer comme un composant clé des futurs modèles du monde, ces systèmes qui cherchent à simuler la réalité physique de manière efficace et pilotable.

RecherchePaper
1 source
Quantification de l'incertitude pour l'appel de fonctions dans les LLM
3Apple Machine Learning 

Quantification de l'incertitude pour l'appel de fonctions dans les LLM

Les modèles de langage (LLM) sont de plus en plus déployés pour accomplir de manière autonome des tâches concrètes, notamment grâce au paradigme dit du "function calling", qui leur permet d'appeler des outils externes pour agir sur le monde réel. Ce mécanisme est aujourd'hui largement utilisé pour doter les LLM de capacités d'usage d'outils, que ce soit pour interroger une base de données, exécuter du code ou déclencher une action dans une application tierce. Le problème soulevé par des chercheurs est qu'un appel de fonction incorrect peut avoir des conséquences graves, en particulier lorsque l'action déclenchée est irréversible, comme un virement bancaire ou la suppression de données. Face à ce risque, les auteurs proposent d'évaluer la confiance du modèle dans la justesse d'un appel de fonction avant même de l'exécuter, via des méthodes de quantification de l'incertitude, ou "Uncertainty Quantification" (UQ). Cette approche change la donne pour les entreprises qui intègrent des agents IA autonomes dans leurs systèmes de production. Plutôt que de laisser un modèle exécuter aveuglément chaque action qu'il génère, la quantification de l'incertitude permettrait de détecter en amont les appels de fonction douteux et de les soumettre à une validation humaine ou de les bloquer purement et simplement. Pour les secteurs sensibles comme la finance, la santé ou la gestion de données critiques, ce type de garde-fou pourrait devenir un prérequis avant tout déploiement à grande échelle d'agents capables d'agir sans supervision constante. Cette recherche s'inscrit dans un mouvement plus large de la communauté IA visant à rendre les agents autonomes plus fiables et plus sûrs, alors que leur adoption s'accélère dans les entreprises. Les mécanismes de function calling, bien que puissants, restent une source de fragilité: un modèle peut mal interpréter une requête, halluciner des paramètres ou choisir le mauvais outil. En couplant ces systèmes à des méthodes de quantification de l'incertitude, les chercheurs espèrent ouvrir la voie à des agents capables d'évaluer eux-mêmes leur propre fiabilité, une étape jugée essentielle avant de leur confier des tâches à fort enjeu.

RecherchePaper
1 source
« IA sans environnement : génération de données synthétiques pour agents d'appel API »
4Apple Machine Learning 

« IA sans environnement : génération de données synthétiques pour agents d'appel API »

L'entraînement d'agents basés sur des grands modèles de langage (LLM) capables d'appeler des API nécessite d'énormes volumes de trajectoires d'interaction de haute qualité. Jusqu'à présent, la collecte de ces données à grande échelle imposait de disposer d'environnements entièrement fonctionnels, avec des API exécutables et des bases de données backend réalistes et pré-remplies, un obstacle majeur qui limitait fortement la scalabilité du processus. Pour contourner cette contrainte, une équipe de recherche propose une nouvelle approche de génération de données synthétiques ne nécessitant aucun environnement réel, en exploitant les LLM eux-mêmes comme des modèles du monde numérique générés à la volée. En ne partant que des spécifications des API, sans backend ni base de données préexistante, la méthode produit des trajectoires simulant fidèlement les interactions entre un agent et un environnement à état, c'est-à-dire un système qui évolue et garde en mémoire les effets des actions précédentes. Cette avancée change potentiellement la donne pour le développement d'agents IA capables d'utiliser des outils et des API externes, une capacité de plus en plus centrale dans les architectures d'agents autonomes. En supprimant le besoin de construire et maintenir des environnements de test complexes et coûteux, cette méthode pourrait considérablement réduire le temps et les ressources nécessaires pour entraîner de tels agents, tout en permettant de générer des données d'entraînement plus diversifiées et à moindre coût. Pour les équipes de recherche et les entreprises qui développent des assistants IA orientés action, cela représente un gain potentiel important en termes de rapidité de développement et de couverture des cas d'usage. Le goulot d'étranglement identifié par les auteurs, la nécessité de bases de données backend réalistes pour chaque scénario testé, est un frein connu dans le domaine de l'entraînement d'agents IA, où la qualité des données d'apprentissage détermine directement la fiabilité des systèmes déployés en production. Cette approche s'inscrit dans une tendance plus large consistant à utiliser les LLM non seulement comme agents mais aussi comme simulateurs de leur propre environnement d'entraînement, une piste qui pourrait s'étendre à d'autres domaines nécessitant des données d'interaction complexes, comme la navigation web ou l'automatisation de tâches multi-étapes.

RecherchePaper
1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, l'essentiel de l'IA · désinscription en un clic