jacob-valdez/synthux-economy-r5-w067

SynthUX计算机使用数据集（经济模拟r5）是一个基于视觉的计算机使用轨迹数据集，由SynthUX生成。每个记录代表一个工人在模拟公司内的设备会话：目标扩展为节点树，终端节点通过低级鼠标/键盘输入驱动真实桌面模拟器应用（如Terminal、Notes、VS Code、Browser、Slack/Teams、Mail、Sheets、Slides等），观察轨迹被记录为屏幕视频和每个节点的帧。数据集支持应用原生多应用执行（无工作台覆盖）、每个参与者内容多样性、跨操作系统消息传递和大规模多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。The SynthUX Computer-Use Dataset (economy sim r5) is a collection of grounded visual computer-use trajectories generated by SynthUX. Each record represents one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (e.g., Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. It features app-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo.

搜集汇总

数据集介绍

构建方式

SynthUX-Economy-R5-W067数据集源自SynthUX框架，旨在模拟多应用协同的桌面计算机使用场景。其构建方式别具匠心：每个数据记录对应一个模拟公司内工作者在设备上的会话过程。首先，一个自然语言目标被逐步分解为节点树，终端节点驱动包括终端、笔记、VS Code、浏览器、即时通讯、邮件、电子表格、幻灯片等在内的真实桌面模拟器应用，通过底层鼠标与键盘输入执行操作。随后，完整交互轨迹被记录为屏幕视频及各节点对应的关键帧图像。数据生成基于因果机制，仅通过底层输入通道进行状态变更，避免了高层应用层面的直接干预，确保了轨迹的真实性与可复现性。

特点

该数据集的核心特色在于其原生多应用协同模拟能力，摒弃了工作台叠加层的虚拟方式，转而通过应用原生界面执行操作，极大提升了视觉真实感。数据涵盖六大模拟公司、36条完整轨迹及963帧图像，支持macOS、Windows及纯浏览器三大操作系统环境。每个记录均包含丰富的元数据，如参与者角色、公司归属、任务标题及目标描述。更值得一提的是，数据集注入了跨操作系统消息通信、多公司经济模拟等复杂社会技术元素，使得每位参与者的内容具有高度多样性，为研究人机协作与多应用交互提供了极具生态效度的基准资源。

使用方法

研究人员可直接加载`data.jsonl`文件获取每条轨迹的结构化记录，包括输入事件序列、因果观测状态及节点对齐信息。对于视觉分析需求，可访问`screenshots/<trajectory>/<node_id>.png`目录下的逐节点关键帧图像，或直接使用`videos/<trajectory>.webm`中的完整屏幕录制视频。数据集支持基于`env`字段过滤不同操作系统环境下的轨迹，亦可依据`company`、`role_id`等字段进行多维度切片分析。建议结合SynthUX框架的配套工具，对底层输入事件流进行细粒度解析与行为复原，以开展图形用户界面智能体、任务导向型行为建模等高级研究。

背景与挑战

背景概述

SynthUX Computer-Use (economy sim) 数据集由 SynthUX 团队于近期创建，旨在模拟多应用程序、多操作系统环境下的图形用户界面（GUI）代理行为。该数据集聚焦于仿真企业经济体系中的计算机操作轨迹，通过生成细粒度、接地气的视觉操作记录，为研究计算机使用行为提供了高保真数据源。其核心研究问题在于如何通过合成数据捕捉真实世界中跨应用、跨平台的用户交互复杂性，从而推动 GUI 代理和自动化领域的发展。该数据集的影响力体现在其多公司、多角色的经济模拟框架，为评估和训练基于视觉的代理系统提供了标准化基准，尤其适用于研究协同办公与任务调度场景。

当前挑战

当前数据集面临的主要挑战包括：1) 领域问题挑战——GUI 代理在跨应用、跨操作系统环境中需处理异构界面布局和动态状态变化，现有模型难以泛化至未见过的软件组合或用户工作流，而该数据集通过多公司、多角色模拟仅部分覆盖了现实世界的多样性；2) 构建过程挑战——合成数据的因果性依赖于严格记录低层级输入事件，但模拟器（如 macOS Web Next、Windows Web Next）之间的底层差异可能导致轨迹噪声，且每节点仅捕获最后事件帧，丢失了中间状态演化信息，限制了数据对实时决策研究的支持。

常用场景

经典使用场景

SynthUX Economy仿真数据集以其多应用协同的图形界面操作轨迹为核心，为研究多步骤、跨应用的计算机使用行为提供了宝贵的基准。研究者可利用该数据集中的屏幕录制视频与逐节点帧图像，训练或评估能够理解复杂任务目标并生成相应鼠标键盘操作序列的视觉语言模型。其典型应用场景包括模拟员工在仿真公司环境中使用终端、代码编辑器、浏览器、即时通讯工具及办公套件完成经济相关的业务目标，从而检验模型在真实多应用桌面环境下的任务规划与执行能力。

衍生相关工作

受SynthUX Economy数据集启发的相关工作主要围绕多应用图形界面智能体的构建与评估展开。在轨迹表示学习方面，研究者正尝试利用其丰富的帧序列和因果状态信息，开发能够从屏幕像素直接预测操作效果的感知-控制模型。在任务规划层面，该数据集中的目标分解树结构促使了可解释性更强、层次更分明的规划算法的提出。此外，该数据集的多环境特性也催生了跨平台智能体适应性的研究，推动了如ReAct和Tree-of-Thought等推理策略在桌面自动化领域的迁移与应用。

数据集最近研究

最新研究方向

该数据集聚焦于图形用户界面（GUI）代理在复杂多应用模拟经济环境中的计算机操作轨迹研究。通过记录不同角色在跨平台（macOS、Windows、浏览器）下的真实桌面操作序列，结合密集的底层输入事件与屏幕视频，为构建能够理解并执行多步骤企业级任务的自主GUI代理提供了宝贵资源。前沿方向涵盖利用此类合成轨迹学习跨应用任务规划、基于视觉的意图推理以及模仿人类操作习惯的泛化能力，其多公司、多角色设定更贴近实际商务场景，对推动更智能、更稳健的数字化劳动力落地具有重要影响。