jacob-valdez/synthux-economy-r4-w019

SynthUX计算机使用数据集是一个基于视觉的计算机使用轨迹数据集，由SynthUX生成，专门针对经济模拟场景（r4版本）。每个数据记录代表一个工人在模拟公司内的设备会话：一个目标扩展为节点树，终端节点通过低级鼠标/键盘输入驱动真实的桌面模拟器应用（如终端、笔记、VS代码、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频加上每个节点的帧。该数据集支持应用原生的多应用程序执行（无工作台覆盖）、每个参与者的内容多样性、跨操作系统消息传递，以及大型多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。数据集内容包括：data.jsonl文件（每个渲染轨迹一条记录）、screenshots/<trajectory>/<node_id>.png（每个终端节点在最后输入事件时的帧图像）和videos/<trajectory>.webm（完整屏幕录制）。记录模式包括轨迹ID、参与者ID、公司、角色、环境、目标、节点树、轨迹事件、观察、对齐和媒体引用等字段。本版本统计信息：轨迹36条、视频36个、帧879个、公司6家，环境分布为浏览器操作系统（13条）、macOS网络下一个版本（15条）、Windows网络下一个版本（8条）。数据集由SynthUX生成，观察基于因果模拟（突变通道为低级输入），捕获过程中未使用高级应用突变。The SynthUX Computer-Use Dataset is a grounded visual computer-use trajectories dataset generated by SynthUX, specifically for economy simulation scenarios (r4 version). Each record represents one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (such as Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, etc.) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. It features app-native multi-application execution (without workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repository. Contents include: data.jsonl (one record per rendered trajectory), screenshots/<trajectory>/<node_id>.png (a frame per terminal node, taken at that nodes last input event), and videos/<trajectory>.webm (the full screen recording). The record schema includes fields like trajectory_id, actor_id, company, role_id, title, env, goal, tree.nodes, trajectory.input_events, trajectory.observations, trajectory.alignment, media.video, and media.frames. Stats for this build: trajectories: 36, videos: 36, frames: 879, companies: 6, with environment distribution as browser-os (13), macos-web-next (15), windows-web-next (8). Provenance: generated with SynthUX, observations are causal (mutation channel = low_level_input), and no high-level app mutation is used during capture.

搜集汇总

数据集介绍

构建方式

在数字经济蓬勃发展的时代背景下，人机交互行为数据成为理解复杂工作流程的关键资源。SynthUX-economy-r4-w019数据集通过创新的合成数据生成框架SynthUX构建，模拟了多公司经济体系中的员工设备操作场景。每个数据记录对应一名虚拟工作者在模拟公司内的完整桌面会话：从自然语言目标出发，系统自动展开为层级化节点树，终端节点通过低层级鼠标与键盘指令驱动真实桌面模拟器应用，涵盖终端、笔记、代码编辑器、浏览器、即时通讯、邮件、电子表格和演示文稿等多元工具，最终将观测到的轨迹以屏幕视频和逐节点帧的形式完整记录，实现了端到端的全链路行为捕捉。

特点

该数据集呈现出多项显著特色：首先，它原生支持多应用协同执行，摒弃了传统工作台覆盖模式，使交互数据更贴近真实操作环境。其次，每份轨迹都包含从高层目标到低层输入事件的精细对齐，通过节点树结构将目标分解与操作序列紧密关联，便于研究者分析意图与行为的映射关系。此外，数据集涵盖了跨操作系统的消息传递与多公司复杂经济网络，本版本包含来自6家公司的36条轨迹，涉及macOS、Windows及浏览器三种操作系统环境，共计879张逐节点帧和完整屏幕录像，为多平台、多角色的人机交互研究提供了丰富的异构数据支撑。

使用方法

使用本数据集时，研究人员可直接从主文件data.jsonl中读取每条轨迹的结构化字段，包括任务目标、角色信息、操作环境、节点树结构和密集的输入事件序列。屏幕录像以webm格式存储在videos目录下，按轨迹ID组织。逐节点帧以PNG格式存放于screenshots文件夹，便于结合关键时间点进行细粒度分析。数据中的对齐字段将观测状态和输入事件范围与节点ID关联，支持研究者准确还原每一步操作的前因后果。该数据集尤其适用于计算机使用智能体训练、GUI自动化策略评估以及多应用复杂工作流的理解与建模等研究场景。

背景与挑战

背景概述

SynthUX Economy R4 W019数据集由SynthUX团队于2025年发布，旨在模拟多公司经济环境下的图形用户界面（GUI）智能体行为。该数据集聚焦于计算机使用（computer-use）领域，核心研究问题是如何通过合成数据生成高保真的视觉操作轨迹，以支持多应用协同场景下的智能体训练与评估。数据集包含来自6家模拟公司的36条完整操作轨迹，覆盖macOS、Windows及浏览器三大操作系统环境，通过低层级鼠标/键盘事件精确记录用户与桌面应用的交互过程。这一贡献填补了现有GUI智能体数据集中缺乏跨应用、跨组织经济模拟场景的空白，为研究复杂业务流程自动化提供了关键基准，对自动化办公、软件测试及人机协作等领域具有重要推动作用。

当前挑战

该数据集面临多重挑战。领域层面，GUI智能体需处理动态复杂的多应用交互环境，如浏览器、代码编辑器、通讯工具等异构软件的实时协同操作，这对智能体的场景理解能力与任务规划鲁棒性提出了极高要求，远超出单一应用操作的复杂度。构建过程中，SynthUX团队需解决两大难点：其一是确保合成轨迹的真实性与多样性，需在模拟经济系统中为每位工作者生成符合角色身份与组织流程的独特目标，避免数据模式单一化；其二是精确捕捉低层级输入事件与高层级任务目标的因果对齐，即需在无高层面应用修改的前提下，仅通过鼠标键盘操作序列反推意图节点树，这对数据标注与事件同步机制提出了严苛的技术挑战。

常用场景

经典使用场景

SynthUX Economy R4 W019 数据集专为模拟企业环境中的多应用计算机使用轨迹而设计，其经典使用场景聚焦于 GUI 代理（GUI Agent）的自主任务执行能力评估。研究者可通过该数据集获取完整的屏幕录制视频和逐节点帧图像，结合细粒度的鼠标与键盘输入事件，训练和验证智能体在跨操作系统、多应用程序协同工作场景下的指令跟随与操作规划能力。

衍生相关工作

围绕 SynthUX 数据集，衍生出了一系列区域经济模拟与多智能体协作的经典工作。研究者基于其多公司、多角色的仿真结构，将其应用于组织行为分析，探讨不同层级员工在日常操作中的效率差异与沟通模式。同时，该数据集促进了屏幕录制-动作对齐技术的创新，催生了利用帧级观察与低层级输入事件进行因果推理的新方法，为后续构建更鲁棒的视觉-动作联合模型奠定了基础。

数据集最近研究

最新研究方向

随着多智能体协作与图形用户界面自动化技术的深度融合，SynthUX Economy R4 W019数据集聚焦于模拟企业级多应用协同场景下的计算机使用轨迹生成。该数据集通过跨操作系统（macOS、Windows、浏览器）的底层鼠标与键盘输入记录，结合自然语言目标驱动的节点树展开机制，为GUI代理研究提供了端到端的、包含屏幕视频与逐节点帧的高度细粒度行为数据。其核心价值在于首次在大规模多公司经济模拟环境中捕获了具有演员身份差异、跨应用消息传递及内容多样性等真实操作特征的轨迹，为开发能够理解复杂企业工作流、在无工作台覆盖前提下执行原生多应用任务的智能代理奠定了数据基础。当前研究前沿正借助此类合成数据探索代理在长周期、多步骤、跨平台任务中的泛化能力与鲁棒性，尤其关注其在实际部署前对软件环境动态变化的适应水平，显著推动了计算机使用领域从单一应用操作向企业级生态系统模拟的范式跃迁。