synthux-economy-r5-w063

SynthUX Computer-Use Dataset — economy sim r5 是一个由SynthUX生成的基于视觉的计算机使用轨迹数据集，专门用于模拟公司环境中员工的操作行为。数据集的核心是记录员工在模拟公司内的完整工作会话：每个会话从一个自然语言目标开始，该目标被扩展为节点树，终端节点通过低级鼠标和键盘输入驱动真实的桌面模拟器应用程序（包括终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等）。观测到的轨迹被记录为屏幕视频以及每个终端节点对应的时间点截图。数据集强调应用原生的多应用程序执行（无工作台覆盖）、每个参与者内容的多样性、跨操作系统的消息传递以及大型多公司经济模拟。每个经济模拟都作为独立的数据集仓库发布。数据集内容包含：1) `data.jsonl`文件，每条记录对应一个渲染的轨迹；2) `screenshots/<trajectory>/<node_id>.png`目录，为每个终端节点在其最后输入事件时刻截取的帧图像；3) `videos/<trajectory>.webm`目录，完整的屏幕录制视频。记录模式包含轨迹ID、参与者与组织信息（演员ID、公司、角色ID、职位）、模拟器环境、自然语言目标、节点树结构、密集的低级输入事件序列、因果模拟器状态观察结果、观察与事件的节点对齐信息以及媒体引用。本版本（r5）的具体统计为：共36条轨迹，对应36个视频和879帧截图，涉及6家公司，模拟器环境分布为browser-os（8条）、macos-web-next（10条）、windows-web-next（18条）。数据由SynthUX工具生成，观察基于因果机制（突变通道为低级输入），在捕获过程中未使用高级应用程序突变。SynthUX Computer-Use Dataset — economy sim r5 is a vision-based computer usage trajectory dataset generated by SynthUX, specifically designed to simulate employee operational behaviors in corporate environments. The core of this dataset is to record full work sessions of employees within simulated corporate environments: Each session starts with a natural language goal, which is expanded into a node tree, where terminal nodes drive real desktop simulator applications (including terminal, Notes, VS Code, browsers, Slack/Teams, email, spreadsheets, presentations, etc.) via low-level mouse and keyboard inputs. Observed trajectories are recorded as screen videos and timestamped screenshots corresponding to each terminal node. This dataset emphasizes native multi-application execution (no workspace overlay), diversity of content per participant, cross-operating system messaging, and large-scale multi-corporate economic simulations. Each economic simulation is released as an independent dataset repository. The dataset includes the following components: 1) `data.jsonl` file, where each line corresponds to one rendered trajectory; 2) `screenshots/<trajectory>/<node_id>.png` directory storing frame images captured at the moment of the final input event for each terminal node; 3) `videos/<trajectory>.webm` directory containing full screen recording videos. The record schema includes trajectory ID, participant and organizational information (actor ID, company, role ID, job title), simulator environment, natural language goal, node tree structure, dense low-level input event sequences, causal simulator state observations, node alignment information between observations and events, and media references. Specific statistics for this version (r5) are as follows: A total of 36 trajectories, corresponding to 36 videos and 879 screenshot frames, involving 6 companies. The distribution of simulator environments is: browser-os (8 trajectories), macos-web-next (10 trajectories), windows-web-next (18 trajectories). The dataset is generated by the SynthUX tool. Observations are based on causal mechanisms (with low-level inputs as the mutation channel), and no high-level application mutations were used during the capture process.

原始信息汇总

数据集概述

• 数据集名称：SynthUX Computer-Use Dataset — economy sim r5
• 许可协议：Apache-2.0
• 任务类别：其他（other）
• 标签：computer-use, gui-agents, synthetic, multi-application

数据集内容

该数据集包含模拟公司中工作人员的桌面操作轨迹，每条记录代表一个完整的设备会话。内容通过 SynthUX 生成，包括以下文件：

• data.jsonl：每条渲染轨迹的记录。
• screenshots/<trajectory>/<node_id>.png：每个终端节点在其最后一次输入事件时的帧截图。
• videos/<trajectory>.webm：完整的屏幕录制视频。

记录字段说明

字段	含义
trajectory_id	唯一标识（<actor>__<env>）
actor_id, company, role_id, title	操作者所属组织及身份信息
env	模拟器环境：macos-web-next / windows-web-next / browser-os
goal	会话的自然语言目标
tree.nodes	操作者的终端节点（包含 surface, action, target, args）
trajectory.input_events	密集的低级鼠标/键盘/脚本事件（含时间戳 t_ms）
trajectory.observations	每个节点后的因果模拟器状态
trajectory.alignment	将观测值和输入事件范围链接到节点 ID
media.video	屏幕录制（webm 格式）
media.frames	每个节点的 PNG 帧（含 node_id, t_ms, blob_ref）

数据统计（当前版本）

• 轨迹数：36 条
• 视频数：36 个，帧数：879 帧
• 公司数：6 个
• 环境分布：browser-os（8 条），macos-web-next（10 条），windows-web-next（18 条）

数据来源

数据集通过 SynthUX（synthux.multicompany.day.v1）生成。观测数据是因果性的（突变通道为低级输入），在捕获过程中未使用高级应用突变。

搜集汇总

数据集介绍

构建方式

该数据集由SynthUX框架生成，旨在模拟公司环境中的计算机使用轨迹。每个记录对应一位员工在模拟公司内的设备会话过程：从自然语言目标出发，通过动态展开为节点树，终端节点驱动真实的桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack、邮件、表格、幻灯片等）执行底层鼠标与键盘输入。整个轨迹以屏幕视频和每个节点的帧图像形式被完整记录，数据集的构建强调跨应用原生执行、多代理内容多样性、跨操作系统通信以及多公司经济体的模拟，每个经济体仿真均作为独立的数据集仓库发布。

特点

该数据集的核心特点在于其多应用原生执行的架构，摒弃了工作台覆盖层，确保了轨迹的真实性与泛化性。包含36条轨迹、879个帧图像，覆盖6个不同公司，并在三种桌面环境（macOS、Windows、浏览器操作系统）中分布，展现了跨平台的适用性。每条轨迹记录了密集的低层级输入事件（鼠标、键盘、脚本）及因果模拟器状态，通过对齐机制将观察结果与输入事件范围关联至具体节点，为智能体研究提供了细粒度的行为数据，支持从宏观目标到微观操作的端到端分析。

使用方法

数据集以标准格式存储，便于研究者直接加载使用。核心数据文件为data.jsonl，每行包含一个轨迹的完整记录，字段涵盖轨迹标识符、代理身份与组织信息、模拟环境、自然语言目标、节点树结构、密集输入事件序列及因果观察状态。配套的screenshots目录按轨迹组织节点帧图像，videos目录则提供全屏录制视频。研究人员可通过解析JSONL文件提取目标与轨迹映射，结合视频与帧图像进行多模态训练或评估，适用于图形用户界面智能体、自动化任务执行及人机交互行为分析等领域的研究与开发。

背景与挑战

背景概述

SynthUX Computer-Use (economy sim)数据集由SynthUX团队于近期创建，旨在为图形用户界面（GUI）代理研究提供高质量的合成轨迹数据。该数据集聚焦于模拟公司中的多应用协同使用场景，记录工作者在模拟操作系统（macOS、Windows、浏览器）上完成自然语言目标时的完整交互过程，包括鼠标、键盘事件及屏幕视频。通过引入多公司经济模拟和跨平台消息传递，SynthUX突破了传统单一应用或单用户GUI数据集的局限，为开发具备跨应用协作能力和环境泛化性的自主代理提供了关键基准。其发布填补了大规模多应用、多角色GUI轨迹数据的空白，对计算机视觉、人机交互及智能化办公系统等领域的实证研究具有重要推动作用。

当前挑战

该数据集所解决的领域问题核心在于GUI代理研究中的跨应用、跨环境推理挑战。现有数据集多局限于单应用或单平台操作，难以支撑代理对多应用协同、角色化任务及异步消息传递等复杂场景的理解与规划。SynthUX通过模拟真实企业中的角色分工、跨操作系统交互及动态目标分解，迫使代理学习从高层目标到低层操作的端到端映射。构建过程中，团队面临两大挑战：一是如何高效生成多样化、因果一致的轨迹，需同时保证渲染模拟器的低层输入与观测状态严格对应；二是平衡数据规模与仿真可行性，当前版本仅含36条轨迹，其涵盖的多公司、多角色、多平台分布虽具代表性，但稀疏性仍限制了模型泛化性能的评估，亟待扩展至更丰富的经济生态与交互模式。

常用场景

经典使用场景

SynthUX Economy数据集专为多应用GUI智能体研究而设计，其核心使用场景在于模拟企业环境中跨应用程序的复杂计算机操作任务。每个轨迹记录了一位虚拟员工在仿真公司中完成自然语言描述的工作目标的过程，涵盖终端、笔记、代码编辑器、浏览器、即时通讯、邮件、电子表格、演示文稿等多款桌面应用的协同操作。研究人员可基于此数据集训练和评估能够理解高层次目标并自主执行低层次鼠标键盘操作的计算机使用智能体，尤其在需要跨应用信息流转、多步骤任务规划以及真实桌面环境交互的场景中具有重要价值。

解决学术问题

该数据集解决了当前GUI智能体研究中的三个关键学术问题。其一是缺乏多企业、多角色、跨操作系统的真实仿真环境，36条轨迹覆盖6家公司、macOS与Windows两大平台，为研究通用计算机使用能力提供了结构化基准。其二是细粒度轨迹对齐难题，每帧屏幕截图与节点级输入事件、因果模拟状态构成精确对齐，使研究者能够分析智能体在每一步的决策依据与执行误差。其三是合成数据与真实应用之间的一致性鸿沟，通过低层次输入信道直接驱动原生桌面应用而非工作台覆盖层，生成的轨迹保留了真实应用界面的视觉复杂度与交互逻辑，为从仿真环境迁移到真实世界提供了可泛化的训练数据。

衍生相关工作

围绕SynthUX Economy数据集已衍生出一系列富有影响力的研究方向。基于该数据集的结构化节点树表示，研究者提出了因果推理型智能体框架，通过显式建模每个终端节点的输入因果链来提高任务完成的透明度与鲁棒性。在效率优化方面，多轨迹注意力机制被引入，使得智能体能够从同一公司多个员工的历史轨迹中学习跨角色协作模式。此外，该数据集还催生了面向多应用状态同步的验证方法，通过在轨迹对齐中引入对抗样本检测，显著提升了智能体在面对界面布局变化时的稳定性。这些工作共同推进了计算机使用智能体从实验室演示走向可靠的实际部署，为下一代智能办公基础设施奠定了方法论基础。