UCSC-VLAA/VisualClawArena

VisualClawArena 是一个包含200个场景的基准测试数据集，专为多模态计算机使用代理而设计。每个场景都包含一个视频剪辑、一个持久的工作空间、动态更新、多轮指令和可执行的检查器。该数据集旨在测试代理是否能够综合使用视频证据、工作空间文件以及后续的环境变化，而不仅仅是回答静态的视频问答问题。数据集的结构包括场景数据、规范、轮次类型（如多项选择题和可执行检查）、清单文件（如场景、轮次和文件清单）以及评估文件（如汇总指标和每轮结果）。数据集还提供了详细的评估协议，强调状态性，即后续轮次可能依赖于早期编辑的文件，更新可能改变工作空间。数据集基于多个上游数据集（如indoor_vsi、egoschema、qvhighlights）构建，并包含视频来源，因此在重新分发时需遵守上游条款。VisualClawArena is a 200-scenario benchmark for multimodal computer-use agents. Each scenario pairs a video clip with a persistent workspace, dynamic updates, multi-round instructions, and executable checkers. The benchmark is designed to test whether an agent can use video evidence, workspace files, and later environment changes together, rather than only answer static video-QA questions. The dataset structure includes scenario data, specifications, round types (such as multiple-choice and executable checks), manifests (e.g., for scenarios, rounds, and files), and evaluation files (e.g., summary metrics and per-question results). It also provides a detailed evaluation protocol, emphasizing statefulness where later rounds may depend on files edited earlier, and updates may change the workspace. The dataset is built from multiple upstream sources (e.g., indoor_vsi, egoschema, qvhighlights) and includes video content, so redistribution requires checking upstream terms.

搜集汇总

数据集介绍

构建方式

VisualClawArena是一个面向多模态计算机使用智能体的200场景基准测试集。其构建过程独具匠心，从indoor_vsi、egoschema和qvhighlights三大来源桶精心筛选视频素材，最终形成100、50和50个场景的均衡分布。每个场景均包含视频片段、持久化工作区、动态更新机制、多轮指令以及可执行检查器，将视觉证据、工作区文件与环境动态变化有机结合，突破了传统静态视频问答的局限。数据集共收录5000个作者标注轮次与4885个发布轮次，其中3610轮依赖视频信息，涵盖3500个可执行检查轮和1385个多选题轮，精心设计了场景规格与测试协议。

特点

该数据集的核心特色在于其深度模拟真实智能体交互的复杂性。首先，每个场景配备详细的代理指导文件（AGENTS.md）、身份设定（IDENTITY.md）和用户意图说明（USER.md），为智能体提供完整的任务上下文。其次，数据集引入动态更新机制，可在指定轮次中修改、添加文件或引入新证据，模拟真实环境中的持续变化。此外，可执行检查轮使用Python脚本直接验证智能体对工作区文件的修改结果，而非简单比对输出，实现了更深层次的行为评估。数据集的泄漏探测标签（如visual_required、text_only_solvable）更可全面分析模型对视觉信息的依赖程度。

使用方法

使用VisualClawArena评估智能体时，需遵循严格的评估协议：首先部署工作区文件，提供视频证据（完整片段或选定帧），然后按顺序呈现轮次指令，并在到达触发轮次时应用动态更新。对于多选题，直接比对模型选项与标准答案；对于可执行检查轮，运行指定检查脚本验证工作区最终状态。评估过程强调状态保持——后续轮次依赖于之前编辑的文件，每个轮次前重置工作区将破坏基准测试的智能体设定。用户可通过Hugging Face datasets库加载JSONL格式的清单文件，或直接访问scenarios目录下的结构化场景数据，便于复现实验结果与对比不同模型的性能表现。

背景与挑战

背景概述

VisualClawArena诞生于2026年，由加州大学圣克鲁兹分校的视觉、语言与自主学习实验室（VLAA）团队构建，旨在应对多模态计算机使用代理的评估困境。随着多模态大模型从静态问答向具身操作演进，现有基准测试如VideoQA仅聚焦于被动理解，难以衡量代理在动态环境中利用视频证据、操作工作区文件并响应环境变化的能力。VisualClawArena通过200个精心设计的场景，将视频片段与持久工作区、动态更新及多轮指令相结合，开创了多模态代理评估的新范式。该数据集涵盖约5000轮交互任务，包含可执行检查与多项选择两种形式，其发布后迅速成为检验代理可演进性与多模态推理能力的重要工具，对推动智能体从感知到执行的跨越具有里程碑意义。

当前挑战

VisualClawArena致力于攻克多模态代理在动态环境中的核心挑战：被测试代理需要整合视频线索、工作区文件与实时环境更新，而非仅回答静态视频问题——这要求模型具备跨越长上下文的记忆与推理能力。构建过程中，团队面临双重难题：首先，需从Indoor VSI、EgoSchema等上游数据源中精选并重构100个室内场景及100个开放场景，确保每个场景都包含增量任务与可执行校验逻辑；其次，如何设计稳健的检查脚本与泄露检测机制，防止代理通过文本捷径避开视觉理解，是数据标注与评估流程中的关键瓶颈。这些挑战使VisualClawArena成为衡量代理真实自主性而非表面模仿的试金石。

常用场景

经典使用场景

VisualClawArena数据集作为多模态计算机使用代理（Computer-Use Agent）的基准测试平台，其经典使用场景在于评估代理在动态、长上下文中执行多轮指令的能力。每个场景由视频片段、初始工作空间、动态更新和可执行检查器组成，要求代理整合视频证据与工作空间文件，而非仅回答静态视觉问答。这种设计使得研究者能够系统性地测试代理在复杂办公自动化、编程辅助及文档处理等任务中的表现，例如根据视频教程修改代码或依据会议记录更新项目文件，从而验证其环境理解和工具使用能力的真实水平。

实际应用

在实际应用中，VisualClawArena模拟了众多现代数字工作流场景，如基于视频会议记录自动整理会议纪要、根据操作演示视频在复杂软件中执行配置修改，或遵循多步骤指南完成数据分析报告。这些场景精准对应了企业自动化、远程办公支持及教育培训等领域的痛点需求。通过评估代理在文件编辑、信息提取和跨模态证据整合上的表现，该数据集为开发能够辅助人类完成日常数字任务的智能助手提供了有效验证工具，尤其适用于需要持续监控环境变化并作出自适应调整的自动化系统部署。

衍生相关工作

VisualClawArena的设计理念与数据资源已经催生了一系列相关研究工作。其中，研究者基于其多轮检查框架开发了专门用于长视频理解与动态任务执行的代理架构，例如将视频片段分割为多个语义单元并对应到不同工作空间状态的时序推理模型。此外，围绕数据集中提供的动态更新机制，衍生出了关注环境变化自适应策略的强化学习方法，以及用于分析代理信息泄漏风险的探测技术。这些工作进一步拓展了多模态代理在复杂、非确定性环境中的评估方法论，并促进了诸如状态跟踪器、跨模态记忆模块等关键组件的创新，形成了以视觉代理自主进化为核心的研究生态。