RechercheApple Machine Learning15h· 1 min de lecture

FlowEval : évaluation par référence des interfaces utilisateur générées

FlowEval, un nouveau cadre d'évaluation des interfaces utilisateur générées par intelligence artificielle, vient d'être présenté par des chercheurs travaillant sur les agents de développement logiciel. L'outil s'attaque à un problème concret: les modèles de langage et les agents de codage sont de plus en plus utilisés pour créer des interfaces, mais évaluer leur qualité visuelle et fonctionnelle reste difficile. Jusqu'ici, deux méthodes coexistaient, toutes deux imparfaites. L'évaluation par des experts humains permet de tester les parcours d'utilisation critiques avec précision, mais elle est lente et coûteuse. Les juges automatisés, eux, sont rapides et scalables, mais moins fiables et peu transparents dans leurs critères de notation. FlowEval propose une troisième voie: une évaluation basée sur des références, qui compare les parcours de navigation réels enregistrés sur de vrais sites web à ceux obtenus sur l'interface générée.

Cette approche change la façon de mesurer la performance des IA en design d'interface. Plutôt que de juger une capture d'écran isolée ou une impression générale, FlowEval vérifie si l'utilisateur peut effectivement accomplir une tâche, comme s'inscrire, remplir un formulaire ou naviguer entre plusieurs pages, de la même manière que sur un site conçu par des humains. Pour les équipes qui développent des agents de codage capables de produire des applications complètes, ce type de mesure objective devient crucial: il permet de comparer différents modèles entre eux sur des critères d'utilisabilité réelle plutôt que sur des impressions esthétiques.

Cette initiative s'inscrit dans une tendance plus large de professionnalisation de l'évaluation des IA génératives appliquées au développement logiciel. Alors que les agents de codage progressent rapidement dans leur capacité à produire du code fonctionnel, la question de la qualité d'usage reste un angle mort persistant. Des méthodologies comme FlowEval, fondées sur des traces de navigation réelles plutôt que sur des jugements subjectifs, pourraient devenir un standard pour comparer les modèles de manière reproductible, ouvrant la voie à des benchmarks plus rigoureux pour l'ensemble de l'écosystème des agents de développement.

Cet article vous a été utile ?

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

1Apple Machine Learning

SQUIRE : création interactive d'interfaces utilisateur par représentations intermédiaires

Des chercheurs ont présenté SQUIRE (Slot QUery Intermediate REpresentations), un nouveau système d'assistance à la création d'interfaces utilisateur conçu pour aider les développeurs front-end à prototyper plus efficacement. L'outil s'appuie sur l'IA générative mais introduit une couche intermédiaire structurée, les "slot queries", entre l'intention du développeur et le code produit, afin de rendre la génération plus prévisible et plus contrôlable. Le problème que SQUIRE cherche à résoudre est bien réel : les assistants IA actuels, qui fonctionnent via une interface de chat, offrent beaucoup de flexibilité mais peu de précision. Le langage naturel reste ambigu, et les modèles peuvent répondre de façon imprévisible, forçant les développeurs à itérer longuement avant d'obtenir un résultat satisfaisant. En introduisant des représentations intermédiaires explicites, SQUIRE permet à l'utilisateur de spécifier ses intentions de manière plus structurée, réduisant ainsi les allers-retours et accélérant le cycle de prototypage. Cette approche s'inscrit dans une tendance plus large de la recherche en interaction homme-machine : plutôt que de confier entièrement la génération à un modèle de langage via un prompt libre, on intercale des étapes de structuration qui préservent le contrôle humain. Des systèmes similaires ont émergé dans d'autres domaines de la génération de code, et SQUIRE applique ce principe au domaine spécifique des interfaces graphiques, où la précision visuelle et fonctionnelle est particulièrement exigeante. Les suites potentielles incluent une intégration dans des environnements de développement existants comme Figma ou VS Code.

RecherchePaper

1 source

2Apple Machine Learning

De la localisation à la fonction : évaluation de l'intelligence spatiale et fonctionnelle des LLM multimodaux

Des chercheurs ont publié SFI-Bench (Spatial-Functional Intelligence Benchmark), un nouveau cadre d'évaluation conçu pour tester une forme plus avancée d'intelligence spatiale chez les grands modèles de langage multimodaux. Le benchmark comprend plus de 1 700 questions tirées de vidéos égocentrées d'intérieurs domestiques filmées sous différents angles, couvrant des environnements variés du quotidien. Contrairement aux benchmarks existants comme VSI-Bench, SFI-Bench ne se contente pas de demander aux modèles où se trouvent les objets, mais cherche à évaluer s'ils comprennent à quoi ces objets servent dans leur contexte réel. Cette distinction est fondamentale pour le développement d'agents IA capables d'agir dans le monde physique. Un robot ou un assistant visuel qui sait qu'une tasse est posée sur la table, mais ne comprend pas qu'elle sert à boire, sera incapable de planifier des actions cohérentes dans un environnement domestique. SFI-Bench cible précisément ce niveau cognitif supérieur, appelé intelligence fonctionnelle, qui conditionne l'autonomie réelle des agents multimodaux dans des tâches de robotique domestique, d'assistance aux personnes ou de navigation intelligente. La course aux benchmarks spatiaux s'est accélérée ces deux dernières années, à mesure que les modèles comme GPT-4o, Gemini et les LLM open-source progressaient en perception visuelle. Les évaluations géométriques de base ne suffisent plus à différencier les systèmes les plus capables. SFI-Bench s'inscrit dans un effort plus large de la communauté pour définir des critères d'évaluation alignés sur des usages concrets, et pourrait devenir une référence incontournable pour mesurer la maturité des agents embarqués ou des assistants visuels de prochaine génération.

RecherchePaper

1 source

3Microsoft Research

SocialReasoning-Bench : évaluer si les agents IA agissent dans l'intérêt des utilisateurs

Des chercheurs ont publié SocialReasoning-Bench, un nouveau dispositif d'évaluation conçu pour mesurer la capacité des agents d'intelligence artificielle à défendre réellement les intérêts de leurs utilisateurs lors d'interactions sociales. Le benchmark se déploie dans deux scénarios concrets : la coordination de calendrier, où un agent gère les disponibilités d'un utilisateur face à une demande de réunion d'un autre agent, et la négociation commerciale en ligne, où l'agent doit obtenir les meilleures conditions d'achat ou de vente. Chaque scénario est évalué selon deux critères : l'optimisation du résultat obtenu pour l'utilisateur et la qualité du processus décisionnel suivi. Les résultats sur les modèles actuels de pointe sont décevants : les agents accomplissent généralement la tâche, mais acceptent trop souvent des créneaux horaires défavorables ou des offres commerciales médiocres plutôt que de négocier fermement. Même lorsqu'on leur demande explicitement d'agir dans l'intérêt de l'utilisateur, leurs performances restent bien en deçà de ce qu'on attendrait d'un mandataire fiable. L'enjeu est concret et croissant. Des outils comme Claude Cowork d'Anthropic ou Google Gemini s'intègrent déjà aux calendriers et aux boîtes mail pour agir au nom des utilisateurs. Si ces agents acceptent systématiquement le premier compromis venu plutôt que de défendre activement les préférences de la personne qu'ils représentent, ils deviennent des délégués de façade plutôt que de vrais alliés. Le manque de combativité dans la négociation n'est pas anodin : dans un contexte commercial ou professionnel, cela se traduit directement en valeur perdue pour l'utilisateur. La question de la loyauté des agents, distincte de leur simple compétence technique, devient ainsi centrale pour l'adoption à grande échelle de ces systèmes. Ce travail s'inscrit dans une lignée de recherches qui documentent les fragilités sociales des modèles actuels. Des expériences antérieures avaient montré que des agents dans un marché simulé acceptaient la première proposition reçue dans jusqu'à 93 % des cas sans explorer les alternatives. Une autre étude de red-teaming avait démontré qu'un seul message malveillant pouvait se propager dans un réseau d'agents et les amener à divulguer des données privées. Le cadre conceptuel mobilisé est celui de la relation principal-agent, bien établi en économie et en droit : avocats, agents immobiliers et conseillers financiers sont soumis depuis des siècles à des obligations de diligence, de loyauté et de confidentialité envers leurs mandants. SocialReasoning-Bench vise à créer une référence mesurable pour forcer les modèles à s'aligner sur ces mêmes standards, à mesure que les agents IA s'immiscent dans des contextes toujours plus sensibles.

UEDans le contexte de l'AI Act européen, ce benchmark pourrait servir de référence pour évaluer et imposer des standards de loyauté des agents IA déployés sur le marché européen.

RechercheOpinion

1 source

4Apple Machine Learning

STARFlow-V : modélisation vidéo générative de bout en bout par flux normalisants

Des chercheurs ont présenté STARFlow-V, un nouveau modèle génératif de vidéo fondé sur les flux normalisants (normalizing flows), une approche distincte des architectures à diffusion qui dominent aujourd'hui le secteur. Le système se distingue par trois propriétés clés : un apprentissage bout-en-bout, une prédiction causale robuste et une estimation native de la vraisemblance, autant de caractéristiques difficiles à obtenir avec les pipelines de diffusion actuels. Le modèle cible la génération vidéo, un domaine où la complexité spatiotemporelle et le coût computationnel sont nettement supérieurs à ceux de la génération d'images. L'enjeu est significatif pour l'industrie : les flux normalisants permettent un calcul exact de la vraisemblance, ce qui ouvre la voie à une meilleure évaluation des modèles, à un contrôle plus précis de la génération et potentiellement à une inférence plus efficace. La prédiction causale garantit que chaque image générée dépend uniquement des frames précédentes, renforçant la cohérence temporelle des vidéos produites. Ces propriétés intéressent aussi bien les chercheurs en apprentissage automatique que les équipes produit travaillant sur des applications temps réel ou interactives. Les flux normalisants avaient largement cédé la place aux modèles de diffusion et aux GAN au cours des dernières années, mais des progrès récents sur la génération d'images ont relancé l'intérêt pour cette famille de modèles. Des systèmes comme Sora (OpenAI), Gen-3 (Runway) ou Wan (Alibaba) reposent tous sur la diffusion, et STARFlow-V représente une tentative sérieuse de démontrer qu'une alternative existe. Si les résultats se confirment à grande échelle, ce travail pourrait diversifier les paradigmes architecturaux dans un domaine jusqu'ici peu contesté.

RecherchePaper

1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, l'essentiel de l'IA · désinscription en un clic