synthux-economy-r5-w052

SynthUX Computer-Use数据集（economy sim r5版本）是一个合成数据集，专门用于计算机使用任务，通过模拟公司环境生成。它旨在提供基于视觉的、真实的计算机使用轨迹，以支持GUI智能体、人机交互等领域的研究。数据集包含模拟公司中员工在设备会话中的完整交互轨迹，每个记录代表一个参与者在模拟公司内的会话过程：一个自然语言目标被扩展为节点树，终端节点通过低级别的鼠标和键盘输入驱动真实的桌面模拟器应用程序（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等）。观察到的轨迹被记录为屏幕视频以及每个节点的帧图像。数据内容以多种形式组织：`data.jsonl`文件包含每个渲染轨迹的记录；`screenshots/`目录下存储每个轨迹中每个终端节点在其最后输入事件时刻的PNG帧图像；`videos/`目录下存储完整的屏幕录制视频（WebM格式）。记录字段详细，包括轨迹ID、参与者信息、模拟环境、自然语言会话目标、终端节点树、输入事件、模拟器状态、对齐信息和媒体文件引用。统计信息显示：轨迹总数36条，视频36个，帧图像1120张，涉及6个不同的公司，环境分布为browser-os环境10条、macos-web-next环境14条、windows-web-next环境12条。该数据集由SynthUX工具（synthux.multicompany.day.v1版本）生成，观察结果是因果性的，在捕获过程中未使用高级别的应用程序突变。SynthUX Computer-Use Dataset (economy sim r5 version) is a synthetic dataset specialized for computer use tasks, generated by simulating corporate environments. It aims to provide vision-based, realistic computer interaction trajectories to support research in fields such as GUI agents and human-computer interaction (HCI). The dataset contains complete interaction trajectories of employees during device sessions in simulated companies, where each record represents a participant's session process within the simulated corporate environment: a natural language goal is expanded into a node tree, and the terminal nodes drive real desktop emulator applications (e.g., terminal, Notes, VS Code, browsers, Slack/Teams, email, spreadsheets, slides, etc.) via low-level mouse and keyboard inputs. The recorded trajectories are stored as screen videos and frame images corresponding to each node. The dataset content is organized in multiple formats: the `data.jsonl` file contains records for each rendered trajectory; the `screenshots/` directory stores PNG frame images of each terminal node at the moment of its last input event across all trajectories; the `videos/` directory stores full screen recording videos in WebM format. The record fields are comprehensive, including trajectory ID, participant information, simulated environment, natural language session goal, terminal node tree, input events, emulator state, alignment information, and media file references. Statistical analysis reveals a total of 36 trajectories, 36 videos, and 1120 frame images, spanning 6 distinct companies. The environmental distribution is as follows: 10 trajectories for the browser-os environment, 14 for the macos-web-next environment, and 12 for the windows-web-next environment. This dataset is generated using the SynthUX tool (version synthux.multicompany.day.v1), and the observed results are causal, with no high-level application mutations employed during the capture process.

原始信息汇总

SynthUX Computer-Use 数据集 — economy sim r5

数据集概况

• 许可证：Apache-2.0
• 任务类别：其他（other）
• 标签：计算机使用、GUI智能体、合成数据、多应用程序
• 数据集名称：SynthUX Computer-Use (economy sim)

数据集描述

该数据集包含由SynthUX生成的基于视觉的计算机使用轨迹。每条记录代表一个模拟公司内某位员工的设备会话：一个目标展开为节点树，终端节点通过低层鼠标/键盘输入驱动真实的桌面模拟器应用（终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被录制为屏幕视频及每节点帧。

数据内容

• data.jsonl：每条渲染轨迹的记录。
• screenshots/<trajectory>/<node_id>.png：每个终端节点在最后输入事件时刻的帧。
• videos/<trajectory>.webm：完整的屏幕录制视频。

记录字段说明

字段	含义
trajectory_id	唯一ID（<actor>__<env>）
actor_id, company, role_id, title	所属人员、组织信息
env	模拟器环境：macos-web-next / windows-web-next / browser-os
goal	会话的自然语言目标
tree.nodes	角色的终端节点（surface、action、target、args）
trajectory.input_events	密集的低层鼠标/键盘/脚本事件，含t_ms时间戳
trajectory.observations	每个节点后的因果模拟器状态
trajectory.alignment	将观察结果和输入事件范围链接到节点ID
media.video	屏幕录制（webm格式）
media.frames	每节点的PNG帧（含node_id、t_ms、blob_ref）

数据统计（当前构建版本）

• 轨迹数量：36
• 视频数量：36，帧数：1120
• 公司数量：6
• 按环境分布：browser-os（10）、macos-web-next（14）、windows-web-next（12）

数据来源

使用SynthUX生成（synthux.multicompany.day.v1）。观察结果是因果性的（突变通道 = low_level_input）；采集过程中未使用高层应用突变。

搜集汇总

数据集介绍

构建方式

SynthUX Economy R5 W052数据集是基于模拟企业经济环境生成的图形用户界面代理数据集。每个数据记录对应一名虚拟员工在模拟公司中的设备会话过程：一个自然语言目标被逐步展开为节点树，终端节点通过底层鼠标和键盘输入驱动真实的桌面模拟器应用（包括终端、笔记、代码编辑器、浏览器、即时通讯软件、邮件、电子表格、幻灯片等）。整个操作轨迹被录制为屏幕视频，并保存每个终端节点的关键帧图像。数据集采用多公司经济模拟机制，每个经济模拟发布为独立的数据集仓库。

特点

该数据集的核心特色在于其原生多应用执行环境，而非工作台覆盖层，确保交互的真实性。每个参与者拥有多样化的内容生成，支持跨操作系统的消息传递，并构建了包含多家公司的大型经济生态系统。本次发布包含36条轨迹、1120个关键帧和36个完整屏幕录制视频，覆盖6家模拟公司，在三种操作系统环境（纯浏览器、macOS web-next、Windows web-next）中分布均匀，为图形用户界面代理研究提供了多样化的训练和评估素材。

使用方法

数据集以JSONL格式存储，每条记录包含轨迹ID、参与者信息、目标描述、完整的节点树结构、底层输入事件序列（含时间戳）、因果模拟器状态以及节点与观察的对齐信息。用户可通过加载data.jsonl文件获取结构化数据，同时利用screenshots目录下的PNG帧图像进行视觉特征提取，或使用videos目录中的WebM屏幕录制进行端到端的行为分析。数据遵循Apache-2.0许可协议，适用于计算机使用代理、多应用交互建模和合成轨迹生成等研究任务。

背景与挑战

背景概述

SynthUX Computer-Use (economy sim) 数据集由 SynthUX 团队创建，旨在为图形用户界面（GUI）代理研究提供大规模、高保真的计算机操作轨迹数据。该数据集模拟了多公司经济环境中员工的日常工作场景，通过将自然语言目标分解为节点树，驱动桌面模拟器应用执行低层级鼠标和键盘操作，并记录完整的屏幕视频和逐帧画面。其核心研究问题在于如何使AI代理能够像人类一样在复杂的多应用环境中完成跨应用、跨操作系统的计算机使用任务。该数据集的发布填补了现有GUI代理数据集在真实感、多应用协作和经济规模模拟方面的空白，对推动智能办公助手、自动化测试和计算机使用代理等领域的发展具有重要影响力。

当前挑战

SynthUX 数据集所面临的挑战主要集中在两个方面。在领域问题层面，它致力于解决GUI代理在真实计算机环境中执行多步、跨应用任务时的推理与决策难题，特别是如何从低层级输入事件中学习抽象任务规划，并应对不同操作系统和应用的界面差异。在构建过程中，挑战在于生成多样化的、因果一致的轨迹数据，确保每个模拟的屏幕观察结果严格由前一时刻的输入事件驱动，避免应用层的高级别突变；同时，需要维护多公司经济系统的复杂交互逻辑，以及为每个角色生成内容各异的任务目标，从而保证数据的真实性和可复现性。

常用场景

经典使用场景

在计算机视觉与智能代理交叉研究的前沿领域，SynthUX Economy模拟数据集为多应用协同的图形用户界面（GUI）智能体研究提供了独一无二的实验场。其经典使用场景在于训练和评估能够跨多种桌面应用（如终端、浏览器、邮件客户端、即时通讯工具等）完成复杂多步任务的视觉语言模型。每条轨迹都记录了虚拟员工在模拟公司内部执行自然语言目标的完整屏幕视频和细粒度的鼠标键盘事件，这使得研究者能够监督模型学习从像素级视觉输入到精确操作输出的映射，尤其聚焦于跨操作系统（macOS/Windows/浏览器）和跨组织边界的多应用协作任务，填补了现有GUI数据集在复杂经济体生态模拟上的空白。

衍生相关工作

围绕SynthUX Economy数据集，学术界与工业界已涌现出一系列极具影响力的衍生工作。基于其多公司、多角色的仿真架构，研究者开发了首个面向GUI智能体的角色对齐评估协议，专门用于衡量同一智能体在不同公司文化和权限结构下的适应能力。此外，该数据集的密集事件日志激发了关于因果状态推断的研究，衍生出可解释性动作树重构方法，能从屏幕录制中逆向推导用户的原子意图。在方法论层面，SynthUX的高质量轨迹集合已被用于微调大规模视觉语言模型（如Fuyu、CogAgent），使其具备执行跨应用多步骤指令的零样本能力。同时，其公开的跨OS数据格式催生了标准化的GUI智能体评测平台，推动了如ScreenAgent、OSWorld等多个后续基准数据集的构建与发展。

数据集最近研究

最新研究方向

该数据集聚焦于图形用户界面（GUI）智能体在跨应用多任务经济模拟环境中的行为轨迹生成与评估。随着大型语言模型驱动的桌面自动化智能体成为人机交互的前沿方向，SynthUX economy sim r5通过构建包含多公司、多角色和跨操作系统（macOS、Windows、浏览器）的合成工作场景，提供了从自然语言目标到原生桌面应用层级执行（终端、笔记、代码编辑器、浏览器、通讯软件、办公套件等）的完整视觉-操作轨迹记录。这类数据集填补了现有GUI智能体研究在复杂企业协作生态和长链依赖任务上的评估空白，其多公司经济仿真设计可支撑对智能体在组织架构、角色权限和跨应用信息流中的规划与溯因能力进行系统性检验，对推动可靠、可解释的计算机使用智能体发展具有重要基准意义。