synthux-economy-r5-w057

SynthUX Computer-Use数据集（economy sim r5）是一个基于模拟公司环境生成的视觉计算机使用轨迹数据集。该数据集由SynthUX工具生成，旨在记录虚拟员工在模拟桌面环境（如macOS、Windows或浏览器操作系统）中执行任务时的完整交互过程。每个数据记录代表一个参与者在特定公司角色下的一个工作会话，会话从自然语言描述的目标开始，该目标被扩展为节点树，终端节点通过低层级的鼠标和键盘输入驱动真实的桌面模拟器应用程序（包括终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等）。观测到的轨迹被记录为屏幕视频以及每个终端节点的关键帧截图。数据集包含36条轨迹，对应36个屏幕录制视频和1191个节点帧，涉及6家不同的模拟公司。数据按模拟环境分布：browser-os（11条）、macos-web-next（11条）、windows-web-next（14条）。每条记录的结构化数据包括：轨迹唯一标识、参与者与公司角色信息、模拟环境类型、自然语言目标、终端节点树（包含界面元素、操作、目标和参数）、密集的低层级输入事件序列（带时间戳）、每个节点后的因果模拟器状态观察、观察与输入事件范围到节点ID的对齐信息，以及媒体文件（视频和节点帧）的引用。该数据集适用于图形用户界面智能体、计算机使用模拟、多应用任务自动化以及人机交互轨迹分析等研究场景。The SynthUX Computer-Use dataset (economy sim r5) is a visual computer usage trajectory dataset generated based on simulated corporate environments. It is created using the SynthUX tool to record the complete interaction process of virtual employees performing tasks in simulated desktop environments (such as macOS, Windows, or browser-based operating systems). Each data record represents a work session of a participant in a specific corporate role, starting with a natural language-described goal that is expanded into a node tree. Terminal nodes drive real desktop simulator applications (including terminal, notes, VS Code, browser, Slack/Teams, email, spreadsheets, slides, etc.) through low-level mouse and keyboard inputs. Observed trajectories are recorded as screen videos and keyframe screenshots for each terminal node. The dataset contains 36 trajectories, corresponding to 36 screen recording videos and 1191 node frames, involving 6 different simulated companies. Data is distributed by simulation environment: browser-os (11 trajectories), macos-web-next (11 trajectories), windows-web-next (14 trajectories). Each records structured data includes: a unique trajectory identifier, participant and company role information, simulation environment type, natural language goal, terminal node tree (containing interface elements, actions, goals, and parameters), a dense sequence of low-level input events (with timestamps), causal simulator state observations after each node, alignment information between observation and input event ranges to node IDs, and references to media files (videos and node frames). The dataset is suitable for research scenarios such as graphical user interface agents, computer usage simulation, multi-application task automation, and human-computer interaction trajectory analysis.

原始信息汇总

数据集概述

• 数据集名称: SynthUX Computer-Use Dataset — economy sim r5
• 许可证: Apache-2.0
• 任务类别: 其他
• 标签: computer-use, gui-agents, synthetic, multi-application

数据集内容

• 数据文件:
  • data.jsonl — 每条记录对应一个渲染的轨迹。
  • screenshots/<trajectory>/<node_id>.png — 每个终端节点在最后一次输入事件时的帧图像。
  • videos/<trajectory>.webm — 完整的屏幕录制视频。

记录字段说明

字段	含义
trajectory_id	唯一标识（<actor>__<env>）
actor_id, company, role_id, title	角色及所属组织信息
env	模拟器类型：macos-web-next / windows-web-next / browser-os
goal	会话的自然语言目标
tree.nodes	行为人的终端节点（surface, action, target, args）
trajectory.input_events	密集的底层鼠标/键盘/脚本事件（含时间戳 t_ms）
trajectory.observations	每个节点后的因果模拟器状态
trajectory.alignment	将观察结果和输入事件范围链接到节点ID
media.video	屏幕录制（webm格式）
media.frames	每个节点的PNG帧（node_id, t_ms, blob_ref）

统计数据（当前构建版本）

• 轨迹数量: 36
• 视频数量: 36
• 帧图像数量: 1191
• 公司数量: 6
• 按环境分布:
  • browser-os: 11
  • macos-web-next: 11
  • windows-web-next: 14

数据生成来源

• 使用 SynthUX 生成（synthux.multicompany.day.v1）。
• 观察结果基于因果模拟（变异通道为低层输入），捕获过程中未使用高层应用变异。

搜集汇总

数据集介绍

构建方式

SynthUX-Economy-R5-W057数据集基于SynthUX框架生成，模拟了一个多公司经济体系下的图形用户界面代理任务。每个记录对应一名员工在模拟公司内的设备会话：自然语言目标被分解为节点树，终端节点通过底层鼠标/键盘输入驱动桌面模拟器应用（如终端、笔记、VS Code、浏览器、即时通讯、邮件、表格等）。执行过程被记录为屏幕视频及每个节点的帧图像，确保轨迹的完整性与可观测性。

特点

该数据集的核心特色在于其原生的多应用协同执行架构，摒弃了工作台覆盖层，实现跨操作系统消息传递与多公司经济生态的交互。每个经济仿真版本独立发布，本构建包含36条轨迹、1191帧图像及6个模拟公司，涵盖macOS、Windows及浏览器三种环境。每条记录均包含细粒度的输入事件（鼠标/键盘/脚本）与因果状态观测，并通过对齐机制将观测与事件范围映射至节点，保障了数据的一致性与可溯源性。

使用方法

数据集以JSON Lines格式提供核心轨迹记录，每条包含轨迹ID、所属公司与角色、设备环境、目标描述及完整的树结构与输入事件。配套的截图按轨迹分目录存储为PNG格式，视频以WebM格式汇总。用户可通过加载data.jsonl解析结构化字段，利用screenshots与videos目录中的媒体文件进行视觉感知训练或代理行为分析。鉴于其因果观测特性，该方法特别适合用于训练基于屏幕截图与底层输入信号的图形用户界面代理模型。

背景与挑战

背景概述

SynthUX Economy R5数据集由SynthUX团队于近期创建，专注于生成多应用、多操作系统环境下的真实计算机使用轨迹。该数据集模拟了一个包含多个公司的经济体系，每个记录对应一名员工在模拟企业中的桌面会话，涵盖终端、笔记、代码编辑器、浏览器、即时通讯、邮件、电子表格及演示文稿等多种应用。其核心研究问题在于如何通过低层级鼠标和键盘操作，驱动应用原生执行（非工作台覆盖），从而捕捉用户在复杂多任务场景中的视觉和行为轨迹。该数据集在GUI智能体研究领域具有重要影响力，为开发能理解并模拟人类在真实软件生态中交互的自主代理提供了高保真基准，推动了从单一应用操作向跨应用、跨系统协作的范式转变。

当前挑战

该数据集面临的核心挑战在于解决多应用、多操作系统环境下GUI智能体的领域问题。首先，模拟人类在完成复杂目标（如跨应用数据同步、多步骤工作流）时的行为多样性，需生成自然且无重复的轨迹，以避免智能体过拟合并提升泛化能力。其次，构建过程中需应对跨操作系统（macOS、Windows、浏览器）的底层输入差异，确保低层级事件（鼠标、键盘、脚本）的因果一致性。此外，每段轨迹的帧与视频录制涉及高精度时间对齐（毫秒级），并需在无高层应用变异干扰下维持观察状态的因果封闭性，这对数据采集管道的鲁棒性提出严苛要求。

常用场景

经典使用场景

在图形用户界面（GUI）智能代理研究的前沿，SynthUX Economy R5 W057数据集凭借其独有的多应用、多公司经济仿真环境，为计算机使用代理的训练与评估提供了高度逼真的沙盒。该数据集的核心应用场景聚焦于训练能够跨应用执行复杂工作流的基础模型代理，如通过Slack接收指令后，同时在VS Code编辑代码、在Terminal运行脚本、在Browser查阅文档，并最终在Sheets中更新数据。其端到端的屏幕录像与低层级鼠标键盘事件记录，使得研究者能够精细地构建从视觉观察到动作执行的映射，尤其适用于监督学习范式下的代理微调。

实际应用

在实际产业部署中，该数据集为构建企业级自动化助手铺平了道路。例如，一个集成此数据集微调的代理能够被部署在真实公司环境中，自动处理员工入职流程——从邮箱接收申请表、数据库查询权限、Slack通知审批人，到最终在日历中创建欢迎会议。其多操作系统支持的特性，确保代理能够在混合IT基础设施的现代企业中无缝工作。对于软件测试领域，该数据集同样意义非凡，它使得自动化回归测试不仅限于单应用界面，而是能够模拟用户跨应用（如从邮件跳转至项目管理系统）的真实操作路径，大幅提升测试的覆盖面与鲁棒性。

衍生相关工作

SynthUX Economy R5 W057数据集的发布催生了一系列创新性工作。最直接的是，它启发了将目标树结构作为弱监督信号的层次化轨迹学习方案，研究者提出了基于节点级帧与动作序列的对齐损失函数，显著提升了代理在未见公司环境中的零样本表现。其次，围绕其经济仿真场景，涌现出多智能体博弈与交互式任务协作的研究，探讨了不同角色（如开发者与产品经理）代理之间的通信协议优化。此外，该数据集中的因果观测通道被后续工作引入作为反事实推理的测试床，推动了GUI代理鲁棒性研究的深化。这些衍生工作共同构建了一个围绕高仿真企业环境代理的活跃学术生态。