jacob-valdez/synthux-economy-r2-w016

SynthUX计算机使用数据集——经济模拟r2是一个基于SynthUX生成的视觉计算机使用轨迹数据集，模拟公司内的工作者设备会话。每个记录代表一个渲染轨迹，其中目标扩展为节点树，终端节点通过低级鼠标/键盘输入驱动真实桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察轨迹被记录为屏幕视频和每节点帧。该数据集支持应用原生多应用执行（无工作台覆盖），具有每个参与者内容多样性、跨操作系统消息传递和大型多公司经济模拟。每个经济模拟作为一个独立的数据集仓库发布。The SynthUX Computer Usage Dataset – Economic Simulation r2 is a visual computer usage trajectory dataset generated via SynthUX, simulating employee device sessions within corporate environments. Each record represents a rendered trajectory, where the target is expanded into a node tree, and the terminal nodes drive real desktop emulator applications (e.g., terminal, notes, VS Code, browsers, Slack/Teams, email, spreadsheets, slides, etc.) via low-level mouse and keyboard inputs. The observed trajectories are recorded as screen videos and per-node frames. This dataset supports native multi-application execution (no workspace overlay), featuring content diversity per participant, cross-operating system messaging, and large-scale multi-corporate economic simulations. Each economic simulation is released as an independent dataset repository.

搜集汇总

数据集介绍

构建方式

本数据集基于SynthUX框架生成，专注于模拟企业环境中的图形用户界面（GUI）计算机操作轨迹。构建过程中，每个“员工”（actor）在模拟公司内接受一个自然语言目标，该目标被展开为一棵节点树，其中终端节点驱动真实桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等）执行底层鼠标与键盘操作。操作产生的可视轨迹以屏幕视频及节点帧的形式被记录，确保数据的原生多应用执行特性，而无工作台叠加干扰。本版本为经济模拟（economy sim）的第二次迭代，包含6家模拟公司、36条轨迹，覆盖macOS、Windows及纯浏览器三种操作系统环境。

特点

本数据集的核心特点在于其多应用原生执行、跨操作系统消息传递及大规模多公司经济模拟的真实性。每条轨迹不仅包含自然语言目标与底层的鼠标、键盘事件序列（带时间戳），还提供了因果模拟器状态观察，确保了数据的时间一致性与行为可溯性。此外，数据集中每个终端节点对应一个屏幕截图帧，共970帧，且全轨迹视频以WebM格式存储，便于视觉与事件间的对齐分析。支持通过alignment字段建立观察、输入事件与节点ID之间的映射，极大便利了细粒度的GUI代理行为研究。

使用方法

数据集以三部分内容组织：核心的data.jsonl文件（每行一条轨迹记录）、screenshots文件夹（按轨迹与节点ID存储PNG帧）及videos文件夹（存储全轨迹WebM视频）。用户可通过读取JSONL文件获取轨迹的完整结构，包括目标、节点树、输入事件、因果观察及媒体引用。帧与视频的路径可直接由media字段中的blob_ref与文件命名规则解析。适用于训练基于视觉的GUI代理模型、评估多步计算机操作任务，或用于多应用场景下的行为克隆与模仿学习研究。

背景与挑战

背景概述

SynthUX Computer-Use（economy sim r2）数据集由SynthUX团队于近期构建，旨在为图形用户界面（GUI）代理研究提供大规模、多应用的计算机使用轨迹数据。该数据集模拟了一家虚拟公司内多名员工在真实桌面环境中的操作会话，涵盖终端、记事本、VS Code、浏览器、即时通讯、邮件、电子表格和演示文稿等多类应用，通过低层级鼠标和键盘输入生成完整的操作轨迹。其核心研究问题在于如何构建一个高度真实的、可复现的合成环境，以支持GUI代理的自主学习和评估。该数据集的出现填补了真实人类操作数据难以大规模获取和多应用交互场景缺乏标准化基准的空白，对推动桌面自动化、多应用协作代理及人机交互研究具有重要影响。

当前挑战

当前前沿研究的挑战在于，现有GUI代理多在单一应用或简单网页环境中训练，难以迁移至真实桌面环境中跨应用、跨操作系统的复杂任务。SynthUX通过模拟多公司经济体系，引入了多应用原生执行、跨操作系统消息传递及角色内容多样性，但构建过程中面临两大难题：一是如何确保合成轨迹的因果一致性，即仅通过低层级输入驱动应用状态变化，避免高层次应用程序接口（API）干扰；二是在有限轨迹数量（36条）和公司规模（6家）下，如何平衡采样多样性以覆盖足够多的操作模式，同时保证数据质量与可复现性。

常用场景

经典使用场景

在自主图形用户界面代理（GUI Agents）研究领域，SynthUX Economy R2因其对多应用协同场景的精细覆盖而备受青睐。该数据集为每项任务精心构建了从自然语言目标到底层鼠标、键盘操作的完整节点树，并辅以屏幕录像与逐帧截图，使其成为训练和评估能够在复杂桌面环境中执行跨应用工作流的智能体的理想基准。研究者广泛利用其丰富的轨迹数据，来探究代理如何在不同操作系统界面（如macOS、Windows及浏览器）中高效调度终端、笔记、代码编辑器、通信工具和办公套件等多种应用程序。这种多维度、高保真的交互记录，为开发更鲁棒、更接近人类操作习惯的GUI代理提供了无可替代的监督信号和评估场景。

解决学术问题

该数据集直面了当前多代理系统研究中一个核心挑战：如何在缺乏真实、细粒度、跨应用交互数据的情况下，有效训练和评估GUI代理。传统数据集多局限于单一应用或静态截图，难以捕捉多窗口切换、消息传递与协作引发的动态复杂性。SynthUX Economy R2通过模拟拥有多个角色的公司经济体，记录了从高层商业目标分解到操作原子事件的全过程，解决了‘语义鸿沟’问题——即如何将抽象指令与具体界面操作精准对齐。其意义在于，它为学术界提供了一个可复现、因果清晰的实验平台，使得研究人员能够系统性地分析代理在跨应用状态追踪、记忆保持以及任务失败后的恢复能力，从而推动GUI代理从单一步骤执行迈向复杂的多步骤规划。

衍生相关工作

基于SynthUX Economy R2的高质量轨迹，学术界已衍生出数项具有影响力的经典工作。一类工作聚焦于‘跨应用动作归因’，利用该数据集中的细粒度时间戳与节点对齐信息，开发出能够将视频帧序列动态映射至特定应用内操作（如‘在VS Code中保存文件’）的算法，极大提升了长视频任务的理解能力。另一类代表性成果见于‘因果行为模型’领域，研究者利用该数据集的因果观察结构（仅通过低级输入驱动状态变化），训练代理学习环境的内在动力学，从而使其在面对未曾遇到的界面错误或意外弹窗时，能够依据因果链条规划恢复动作。此外，SynthUX的数据还被用于构建‘多代理共识协议’测试床，通过分析不同代理在同一公司经济体内完成目标任务时的轨迹差异，探索协同规划中的通信开销优化与优先级冲突消解策略。