VIS-APP-Bench
收藏资源简介：
VISTA是一个用于评估大型语言模型编码代理从视觉规范生成端到端Web应用的基准数据集。每个任务为代理提供一个产品设计，并要求其构建一个可运行的全栈应用。该数据集通过匹配每个人工标注的UI锚点到实时DOM元素，并检查其是否正确放置和实际工作，来评分结果与规范的匹配程度，不仅关注视觉，还关注行为。数据集包含10个应用任务和多种规范条件（如C4条件提供渲染的Figma图像和修剪的Figma结构JSON）。
VISTA is a benchmark dataset for evaluating large language model (LLM) coding agents to generate end-to-end web applications from visual specifications. Each task delivers a product design to the agent and mandates the construction of a runnable full-stack application. This dataset quantifies the alignment between the generated result and the provided specifications by matching each manually annotated UI anchor to real-time DOM elements, and verifying whether these elements are correctly positioned and functionally operational, covering both visual fidelity and behavioral correctness. The dataset comprises 10 application tasks and multiple specification conditions; for instance, the C4 condition supplies rendered Figma images and pruned Figma structure JSON.
VISTA — Visual-Spec → App Benchmark
VISTA是一个用于评估LLM编程智能体从视觉规格（visual specs）生成端到端Web应用能力的基准测试。
核心目标
- 每个任务向智能体提供一个产品的设计图，要求其构建一个可运行的全栈应用。
- 评分标准不仅关注视觉匹配程度，更注重行为匹配度：通过将人工标注的每个关键UI锚点（UI anchor）与真实的DOM元素进行匹配，检查其位置是否正确且功能是否真正可用。
评分机制
- 评估流程：视觉规格 → 智能体（模型×框架）→ 可运行应用 → 逐锚点DOM匹配 → 综合得分S。
- 每个锚点评估两个维度：
- 定位（Localization, L）：判断正确的元素是否出现在正确的位置（基于DOM匹配和边界框交并比/距离）。
- 行为（Behavior, B）：判断元素是否执行了正确的操作（如点击导航、输入接受、开关切换、对话框打开等）。
- 得分计算：
- 单个锚点得分 = L × B。
- 单个应用得分为其所有关键锚点得分的平均值。
- 综合得分S 是所有10个应用的得分平均值（缺失或损坏的元素得分为0）。由于S = L × B，看起来正确但无法运行的应用得分接近零。
条件C4（排行榜所用条件）
智能体获得最丰富的规格说明和最大的自由度：
- 提供页面的渲染Figma图像（截图模型）。
- 提供精简后的Figma结构（布局树JSON格式）。
- 不限定目标框架，智能体可自主选择技术栈。
运行基准测试
所有运行脚本位于tasks/目录下。
-
基础脚本：
run_eval.sh- 启动一个智能体针对一个任务/变体，创建工作目录并运行事后分析。
-
前提条件：需要运行Docker，并安装和认证相应的智能体CLI。
-
支持的智能体CLI：
- Claude Code（默认）
- OpenAI Codex
- Gemini CLI
- Cursor
-
主要命令示例： bash cd tasks
单次运行，使用默认CLI（Claude）
./run_eval.sh --task 1_newsletter --variant c4
指定CLI和模型
./run_eval_codex.sh --task 1_newsletter --variant c4 --model gpt-5.5
-
批量运行与评分： bash ./run_all.sh --variant c4 --cli cursor --skip-existing # 为一个智能体运行所有任务 FILTER=c4 ./eval_all_runs.sh "$PWD/runs<config>" # 构建、启动并评分所有运行结果
数据获取
- 项目页面：https://kaboider.github.io/VIS_APP/
- 论文：https://arxiv.org/abs/2605.26144
- Hugging Face数据集：https://huggingface.co/datasets/JunJiaGuo/VIS-APP-Bench
引用信息
bibtex @misc{guo2026vistaendtoendbenchmarkvisual, title={VISTA: An End-to-End Benchmark for Visual Spec-to-Web-App Coding Agents}, author={JunJia Guo and Yuhang Yao and Jiawei and Zhou and Jingdi Chen}, year={2026}, eprint={2605.26144}, archivePrefix={arXiv}, primaryClass={cs.SE}, url={https://arxiv.org/abs/2605.26144}, }
