jacob-valdez/synthux-economy-r3-w017

SynthUX计算机使用数据集（经济模拟版本r3）是一个由SynthUX生成的基础视觉计算机使用轨迹数据集。每条记录代表一个工人在模拟公司内的设备会话：目标扩展为节点树，终端节点通过低级鼠标/键盘输入驱动真实桌面模拟器应用程序（包括终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频以及每个节点的帧。该数据集支持应用原生多应用程序执行（无工作台覆盖）、每参与者内容多样性、跨操作系统消息传递和大型多公司经济模拟。每个经济模拟都作为独立的数据集仓库发布。数据集包含数据记录文件、每个终端节点的截图帧和完整的屏幕录制视频。统计显示，该版本包含36条轨迹、36个视频、993帧、6个公司，并按环境分布：browser-os（15）、macos-web-next（12）、windows-web-next（9）。The SynthUX Computer-Use Dataset — economy sim r3 is a dataset of grounded visual computer-use trajectories generated by SynthUX. Each record represents one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (such as Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, etc.) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. It features app-native multi-application execution (without workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repository. The dataset includes data records, screenshot frames per terminal node, and full screen recordings. Statistics for this build show 36 trajectories, 36 videos, 993 frames, 6 companies, and distribution by environment: browser-os (15), macos-web-next (12), windows-web-next (9).

搜集汇总

数据集介绍

构建方式

本数据集由 SynthUX 框架生成，专注于模拟企业环境中计算机操作的视觉轨迹。构建过程始于一个自然语言目标，该目标被分解为节点树，终端节点驱动真实的桌面模拟器应用（如终端、笔记、代码编辑器、浏览器、即时通讯、邮件、电子表格、幻灯片等）。通过低层级的鼠标和键盘输入，记录下完整的操作轨迹，最终以屏幕视频和每节点帧的形式呈现。数据生成采用因果观察模式，仅通过低层级输入通道进行状态变更，未使用高层级应用操作干预，确保了数据的真实性与因果一致性。每个经济模拟场次作为一个独立的数据集仓库发布。

特点

本数据集的核心特点在于其多应用原生执行环境与多公司经济模拟场景的融合。轨迹在真实的桌面模拟器中生成，而非覆盖层或合成界面，保证了视觉与交互的真实性。数据涵盖36条轨迹、993帧画面，涉及6个模拟公司，并兼容macOS、Windows及浏览器三种操作系统环境。每条轨迹包含密集的低层级输入事件、因果模拟器状态以及节点对齐信息，支持细粒度的行为分析。此外，每个角色的内容具有多样性，并实现了跨操作系统的信息交互，为研究多应用协作场景下的计算机使用行为提供了丰富的数据基础。

使用方法

用户可通过加载 data.jsonl 文件获取每条轨迹的结构化记录，包括目标、节点树、输入事件序列、观察状态及对齐信息。配套的 screenshots 目录提供了每节点对应时刻的PNG帧图像，videos 目录则包含完整的屏幕录制WebM视频，便于进行视觉与行为的多模态分析。建议研究者利用轨迹 ID 关联不同来源的数据，结合输入事件的时间戳与节点对齐信息，重建操作流程。该数据集适用于训练或评估GUI代理模型、研究人类在真实桌面环境中的行为模式，以及开发多应用交互的基准测试任务。

背景与挑战

背景概述

SynthUX-Economy-R3-W017数据集由SynthUX团队于近期创建，聚焦于多应用、多操作系统环境下的图形用户界面（GUI）自主代理研究。该数据集通过模拟公司内部经济场景，生成了36条包含鼠标、键盘低级输入及屏幕视频的完整计算使用轨迹，覆盖macOS、Windows及浏览器环境，旨在解决GUI代理在真实多任务场景中泛化能力不足的问题。其核心贡献在于提供了组织级交互上下文，即代理需在跨应用（如终端、代码编辑器、邮件、通讯软件）协作中完成目标，而非单一指令。这一设计推动了从简单网页操作向复杂企业流程自主化的研究转变，为构建具备环境感知与多步规划能力的AI代理奠定了数据基础。

当前挑战

该数据集所应对的领域挑战主要在于：现实世界中GUI代理需处理跨应用、跨OS的异构界面，并在此过程中保持目标导向的行为一致性，这远超传统单一环境基准。构建过程中的挑战则包括：1) 确保模拟公司内各角色目标（如会计审核、工程师编码）的语义多样性与真实感，避免合成数据的单调性；2) 实现低层级输入（鼠标/键盘事件）到高层级目标间的精确因果对齐，即需通过每一帧图像与动作序列的映射来还原决策路径，而非仅依赖应用接口。此外，不同操作系统间的交互逻辑差异（如窗口管理、快捷键系统）进一步增加了轨迹模拟的复杂性。

常用场景

经典使用场景

在计算机视觉与智能体系统交叉领域，SynthUX Economy模拟数据集为多应用桌面环境下的GUI智能体研究提供了高保真轨迹基准。其核心使用场景聚焦于训练和评估能够理解自然语言目标、并自主完成复杂跨应用操作序列的视觉语言模型。每条轨迹均记录了从浏览器、终端到办公套件等多应用协同工作的完整屏幕视频与原子级别输入事件，特别适合构建需要感知屏幕状态、规划操作步骤并执行鼠标键盘交互的端到端智能体系统。

解决学术问题

该数据集精准填补了现有GUI智能体研究在三个维度的空白：真实多应用协作场景下缺乏带精确时序标注的轨迹数据、缺乏跨企业角色与操作系统的行为多样性、以及缺乏因果状态可观测的合成环境。通过提供36条覆盖6家虚拟公司、3种操作系统的密集轨迹，它解决了从宏观目标分解为微观操作序列的规划问题、多应用间上下文感知与保持问题，以及基于视觉反馈的闭环控制难题，为设计具备跨应用工作流执行能力的通用型桌面智能体奠定了实验基础。

衍生相关工作

该数据集的出现催生了一系列聚焦于多应用GUI智能体的衍生研究。经典工作包括基于该轨迹数据微调视觉编码器与策略网络的端到端智能体训练框架，其证明了屏幕回放视频作为监督信号的有效性。另一方向是利用数据集中丰富的跨企业角色交互记录，开发具有身份感知能力的多智能体协作系统。此外，研究者通过分析轨迹中目标树与低级输入事件的映射关系，提出了层次化动作规划方法与基于因果推理的错误恢复机制，这些工作均以SynthUX Economy模拟数据集作为基准平台进行验证与对比。