jacob-valdez/synthux-economy-r4-w049

SynthUX计算机使用数据集 — economy sim r4是一个基于模拟环境的计算机使用轨迹数据集，由SynthUX生成。每个记录代表一个工作者在模拟公司设备会话中的轨迹：目标扩展为节点树，终端节点通过低级鼠标/键盘输入驱动真实桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、Sheets、Slides等），观察到的轨迹被记录为屏幕视频加上每个节点的帧。数据集支持应用原生多应用执行（无工作台覆盖）、每个参与者内容多样性、跨操作系统消息传递和大型多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。数据集内容包括data.jsonl（每个渲染轨迹一条记录）、screenshots/<trajectory>/<node_id>.png（每个终端节点的帧，在节点最后一个输入事件时拍摄）和videos/<trajectory>.webm（完整屏幕录制）。记录模式包括轨迹ID、参与者ID、公司、角色ID、标题、环境（模拟器类型）、目标、节点树、输入事件、观察结果、对齐信息和媒体文件。统计显示本版本包含36个轨迹、36个视频、891帧、6家公司，环境分布为browser-os（12）、macos-web-next（13）、windows-web-next（11）。数据来源为SynthUX生成，观察结果是因果性的（突变通道为低级输入），捕获过程中未使用高级应用突变。SynthUX Computer-Use Dataset — economy sim r4 is a dataset of grounded visual computer-use trajectories generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. It features app-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo. Contents include data.jsonl (one record per rendered trajectory), screenshots/<trajectory>/<node_id>.png (a frame per terminal node, taken at that nodes last input event), and videos/<trajectory>.webm (the full screen recording). Record schema covers trajectory_id, actor_id, company, role_id, title, env (simulator type), goal, tree.nodes, trajectory.input_events, trajectory.observations, trajectory.alignment, and media files. Stats for this build show trajectories: 36, videos: 36, frames: 891, companies: 6, by env: browser-os (12), macos-web-next (13), windows-web-next (11). Provenance: generated with SynthUX, observations are causal (mutation channel = low_level_input) with no high-level app mutation used during capture.

搜集汇总

数据集介绍

构建方式

本数据集源自SynthUX系统，通过模拟多公司经济环境生成接地气的计算机使用轨迹。每条记录代表一名员工在模拟公司内的设备会话：一个自然语言目标被展开为节点树，终端节点驱动真实的桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），通过底层鼠标和键盘输入执行操作，并将观察到的轨迹记录为屏幕视频与逐节点帧。经济模拟采用应用原生多应用执行方式（无工作台覆盖层），确保内容多样性、跨操作系统消息传递及多公司经济规模。每个经济模拟结果以独立数据集仓库形式发布。

特点

该数据集具备显著特点：第一，多应用原生执行确保轨迹真实反映桌面交互，而非模拟叠加；第二，包含36条轨迹、891帧图像及6个公司的多样化场景，涵盖macOS、Windows及浏览器三大环境，环境分布均衡；第三，每条轨迹附带密集的低级输入事件序列（含时间戳）及因果模拟器状态，支持细粒度分析；第四，跨操作系统消息传递与多公司经济背景增强了数据的生态多样性，可用于研究多应用协作与组织行为。

使用方法

数据集使用方式灵活多样：用户可通过读取`data.jsonl`文件获取每条轨迹的结构化记录，包括目标、节点树、输入事件序列及状态观察；利用`screenshots/`目录下按轨迹组织的逐节点PNG帧进行视觉证据分析，或通过`videos/`目录中的完整视频（WebM格式）复现操作过程。数据支持GUI代理训练、人机交互行为建模、多应用工作流自动化等研究。建议结合轨迹ID与节点对齐信息，将低级事件与具体操作目标关联，以深入挖掘计算机使用模式。

背景与挑战

背景概述

合成用户界面交互数据集SynthUX-Economy-R4-W049由研究团队于近期构建，专注于生成基于视觉的计算机使用轨迹。该数据集模拟企业内部多角色、多应用的协作环境，通过将自然语言目标分解为节点树，驱动底层鼠标与键盘操作，记录完整的屏幕视频与逐帧截图。其核心研究问题在于弥补真实用户操作数据稀缺且标注成本高昂的缺陷，为GUI智能体训练提供大规模、多样化的合成轨迹。数据集涵盖6家公司、36条轨迹，横跨macOS、Windows及浏览器环境，对计算机使用自动化、人机交互和智能体自主学习领域具有重要推动力。

当前挑战

该数据集面临的挑战首先在于领域问题的复杂性：如何准确模拟多应用、多操作系统间的真实交互过程，确保合成轨迹在视觉与操作逻辑上与人类行为一致，以避免训练出的智能体产生偏差。其次，构建过程中需克服内容多样性难题——为不同角色生成差异化目标与响应，防止轨迹同质化；同时，保持低层级输入事件与高层级任务目标的因果对齐，避免模拟器内部状态突变导致的数据伪造。此外，大规模多公司经济模拟的计算开销与数据质量验证也是关键障碍。

常用场景

经典使用场景

在图形用户界面（GUI）自动化与智能体（Agent）研究的交汇地带，SynthUX Economy R4 W049数据集以其精细的多应用协同模拟场景，成为评估和训练计算机使用智能体的黄金标准。该数据集的经典使用场景在于，研究者可在模拟企业环境中，通过完整的屏幕录制视频和节点级帧图像，追踪一个虚拟员工从自然语言目标出发，经由底层鼠标、键盘操作，最终完成跨应用任务（如终端、笔记、代码编辑器、浏览器、通讯软件、邮件和办公套件等）的完整轨迹。其独特的逐节点对齐机制，让每个操作都能与具体的中间状态对应，从而为构建端到端的GUI智能体提供了高质量、可解析的监督信号。

衍生相关工作

基于SynthUX的数据结构，学术界已衍生出多条研究脉络。一方面，研究者利用其密集的鼠标、键盘事件序列和因果观测状态，改进了基于Transformer的动作感知模型，如Screen-Agent与GUI-Nav系列，提出了更精准的视觉-动作对齐架构。另一方面，节点级的帧与对齐信息催生了跨应用语义推理任务，衍生出如MultiAppBench等评估基准，专门测试智能体在不同操作系统（macOS、Windows、浏览器）间切换时的零样本迁移能力。此外，该数据集的企业角色与公司结构元数据，也为探索社会角色约束下的协作式多智能体系统提供了独特的数据基础。

数据集最近研究

最新研究方向

该数据集聚焦于多应用协同的图形用户界面代理行为模拟，在计算机使用智能体领域具有前沿探索价值。通过模拟企业内部多角色、跨操作系统（macOS、Windows、Browser）的真实设备会话，生成包含完整低层级鼠标键盘操作序列的视觉轨迹，为训练具备跨应用任务执行能力的GUI代理提供了高保真度的数据基础。当前研究热点包括利用此类合成数据提升代理在复杂商业场景中的泛化能力，例如经济模拟中的多公司协作、异构应用间消息传递与状态同步。该数据集的意义在于突破传统单应用封闭测试环境的局限，推动了从孤立任务到生态系统级智能体协作的研究范式转变，对构建可部署于真实企业工作流的自主桌面代理具有重要启示。