synthux-economy-r5-w040

SynthUX Computer-Use Dataset — economy sim r5 是一个由SynthUX生成的、基于视觉的计算机使用轨迹合成数据集，旨在模拟公司经济环境中员工在设备上的工作会话。每个数据记录代表参与者在模拟公司内的完整设备会话轨迹。其核心生成机制是将自然语言目标扩展为节点树，终端节点通过低级别的鼠标和键盘输入驱动真实的桌面模拟器应用程序（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），并将整个交互过程记录为屏幕视频以及每个终端节点在最后输入事件时刻的截图帧。数据集具有应用原生多应用程序执行（无工作台覆盖）、每个参与者内容多样性、跨操作系统消息传递以及大型多公司经济模拟的特点。每个经济模拟作为一个独立的数据集仓库发布。数据集包含以下文件：`data.jsonl`文件（每行对应一个渲染的轨迹记录）、`screenshots/<trajectory>/<node_id>.png`目录（存储每个终端节点的截图帧）和`videos/<trajectory>.webm`目录（存储完整的屏幕录制视频）。数据记录的模式包含多个关键字段：唯一轨迹ID、参与者ID、所属公司、角色ID、职位、模拟器环境（macos-web-next / windows-web-next / browser-os）、会话的自然语言目标、参与者的终端节点树（包含界面、动作、目标、参数）、密集的低级别输入事件流（带时间戳）、每个节点后的因果模拟器状态观察结果、观察结果与输入事件范围到节点ID的对齐信息，以及媒体文件引用（视频和节点帧）。统计信息显示：共包含36条轨迹、36个视频、861个帧截图，涉及6家公司，按环境分布为：browser-os (8条)、macos-web-next (11条)、windows-web-next (17条)。该数据集适用于图形用户界面（GUI）智能体、计算机使用模拟、多应用任务自动化等相关领域的研究与开发。The SynthUX Computer-Use Dataset — economy sim r5 is a vision-based synthetic computer-use trajectory dataset generated by SynthUX, designed to simulate employee work sessions on devices in a corporate economic environment. Each data record represents a complete device session trajectory of a participant within a simulated company. Its core generation mechanism involves expanding a natural language goal into a node tree, where terminal nodes drive real desktop simulator applications (including terminal, notes, VS Code, browser, Slack/Teams, email, spreadsheets, slides, etc.) through low-level mouse and keyboard inputs, with the entire interaction recorded as screen videos and screenshot frames at the moment of the final input event for each terminal node. The dataset features native multi-application execution (no desktop overlays), content diversity per participant, cross-OS messaging, and large-scale multi-company economic simulations. Each economic simulation is released as an independent dataset repository. The dataset includes the following files: a `data.jsonl` file (each line corresponds to a rendered trajectory record), a `screenshots/<trajectory>/<node_id>.png` directory (storing screenshot frames for each terminal node), and a `videos/<trajectory>.webm` directory (storing full screen recording videos). The data record schema contains multiple key fields: unique trajectory ID, participant ID, company, role ID, position, simulator environment (macos-web-next / windows-web-next / browser-os), natural language goal of the session, participants terminal node tree (including interface, action, goal, parameters), dense low-level input event stream (with timestamps), causal simulator state observations after each node, alignment information between observations and input event ranges to node IDs, and media file references (videos and node frames). Statistics show: a total of 36 trajectories, 36 videos, 861 frame screenshots, involving 6 companies, distributed across environments as: browser-os (8), macos-web-next (11), windows-web-next (17). This dataset is suitable for research and development in areas such as graphical user interface (GUI) agents, computer-use simulation, and multi-application task automation.

原始信息汇总

数据集概述：SynthUX Computer-Use Dataset — economy sim r5

基本信息

• 许可证：Apache-2.0
• 任务类别：其他（other）
• 标签：computer-use, gui-agents, synthetic, multi-application
• 数据集名称：SynthUX Computer-Use (economy sim)

数据集来源

• 由 SynthUX 生成的基于视觉的计算机使用轨迹数据集。
• 生成版本：synthux.multicompany.day.v1

数据内容 每个记录代表模拟公司内一名员工的设备会话，包括：

• 自然语言目标（goal）展开为节点树
• 终端节点通过低层级鼠标/键盘输入驱动真实桌面模拟应用（如 Terminal、Notes、VS Code、Browser、Slack/Teams、Mail、Sheets、Slides 等）
• 观察到的轨迹以屏幕视频和每节点帧的形式记录

数据集文件

• data.jsonl — 每条记录对应一条渲染轨迹
• screenshots/<trajectory>/<node_id>.png — 每个终端节点在其最后一次输入事件时的截图
• videos/<trajectory>.webm — 完整的屏幕录制视频

记录字段说明

字段	含义
trajectory_id	唯一标识（<actor>__<env>）
actor_id, company, role_id, title	行为者身份及其所属组织信息
env	模拟环境：macos-web-next / windows-web-next / browser-os
goal	会话的自然语言目标
tree.nodes	行为者的终端节点（包含 surface、action、target、args）
trajectory.input_events	密集的低层级鼠标/键盘/脚本事件，带时间戳 t_ms
trajectory.observations	每个节点后的因果模拟器状态
trajectory.alignment	将观测结果和输入事件范围链接到节点 ID
media.video	屏幕录制（webm 格式）
media.frames	每节点 PNG 帧（包含 node_id、t_ms、blob_ref）

数据集统计（当前构建版本）

• 轨迹数量：36 条
• 视频数量：36 个 · 帧数量：861 张
• 公司数量：6 家
• 各环境分布：browser-os（8 条）、macos-web-next（11 条）、windows-web-next（17 条）

技术特点

• 原生多应用执行（无工作台覆盖）
• 每个行为者内容多样化
• 跨操作系统消息传递
• 大型多公司经济模拟
• 观测因果性基于低层级输入通道（无高级应用突变）

搜集汇总

数据集介绍

构建方式

该数据集源于SynthUX框架对模拟经济体中工作者桌面操作的自动化生成。系统将自然语言目标分解为行为节点树，终端节点通过低层级鼠标与键盘指令驱动真实桌面模拟器应用（如终端、笔记、代码编辑器及办公协作套件），完整记录操作轨迹并保存为屏幕视频与逐节点帧图像。每条数据对应一个工作者在模拟公司内的会话，且经济体模拟按版本独立发布为数据集仓库。

使用方法

数据以JSONL格式存储轨迹元数据，包含目标描述、角色信息及完整事件序列；屏幕录像以webm格式提供，关键帧按轨迹与节点ID组织为PNG文件。研究者可通过解析事件流与对齐字段重建操作逻辑，适用于图形界面智能体的行为学习、多应用协作推理及经济系统仿真等场景。数据还支持跨环境对比分析，并兼容自定义渲染策略的扩展接入。

背景与挑战

背景概述

SynthUX经济模拟数据集（synthux-economy-r5-w040）由SynthUX团队于近期构建，专注于多应用图形用户界面（GUI）智能体的视觉计算机使用轨迹生成。该数据集模拟了一个包含多个公司的经济生态系统，每个员工（actor）在模拟的企业环境中操作多种桌面应用（如终端、笔记、浏览器、邮件、表格等），其操作过程被记录为低层级鼠标键盘事件序列，并以屏幕视频和关键帧的形式保存。核心研究问题在于如何通过合成数据驱动GUI智能体在复杂多应用场景下的自主执行能力，填补了真实用户轨迹数据难以获取且成本高昂的空白。该数据集因其多公司、多角色、跨操作系统的丰富性，对计算机使用智能体、行为克隆与强化学习领域具有重要影响力，为评估智能体在模拟企业环境中的任务规划与执行能力提供了标准化基准。

当前挑战

该数据集面临的挑战主要源于两大方面。在领域问题层面，GUI智能体需要从像素级别的屏幕观察中理解应用状态并生成精确的鼠标键盘操作，其核心困难在于跨应用上下文切换的连贯性、长序列任务中的错误累积以及对未知界面布局的泛化能力。在数据集构建过程中，SynthUX团队需确保合成轨迹的因果性，即仅通过低层级输入驱动观察状态变化（避免高层级应用接口作弊），这要求精心设计节点树展开逻辑与模拟器渲染引擎的协作。此外，跨操作系统（macOS/Windows/浏览器）的输入事件格式差异、经济模拟中多个公司并行运行时的并发控制，以及每个节点帧与视频录制的时间戳对齐，均对数据质量与一致性提出了极高要求。

常用场景

经典使用场景

在计算机交互智能体研究的前沿领域，SynthUX Economy R5 W040数据集成为了评估图形用户界面（GUI）智能体在多应用协同工作环境中表现的核心基准。该数据集精心构建了模拟公司内部员工的完整设备会话轨迹，涵盖了终端、笔记、代码编辑器、浏览器、即时通讯、邮件及办公套件等多种桌面应用的底层操作。其经典使用方式是利用录制的屏幕视频和逐节点帧图像，训练和评测智能体如何解析自然语言目标，并自主生成连贯的鼠标键盘操作序列，以完成跨应用的复杂经济模拟任务。

解决学术问题

该数据集的问世有效缓解了计算机使用领域长期面临的真实多应用场景数据匮乏的困境。学术界此前难以获取细粒度、带标注的跨应用操作轨迹，导致智能体的泛化能力与因果推理能力研究受限。SynthUX Economy R5 W040通过提供36条包含时间戳输入事件、节点对齐信息和因果模拟器状态的轨迹，使得研究者能够深入探究智能体在动态企业环境下如何理解目标层级结构、追踪操作因果链，并应对跨操作系统消息传递的挑战。这一贡献显著推动了GUI自主操作从单一应用迈向多应用协同的学术范式演进。

实际应用

在实际产业应用中，该数据集为构建企业级数字员工助手提供了不可替代的训练与评估基础。基于其生成的多公司经济模拟场景，开发者能够训练智能体在真实桌面环境下自动执行数据录入、跨系统信息检索、邮件编排与文档协同编辑等典型办公流程。例如，模型可依据自然语言指令自动完成从浏览器获取报告、经电子表格分析数据、再通过即时通讯工具分发结果的全链路操作，从而显著提升企业运营效率，降低人工重复劳动成本。

数据集最近研究

最新研究方向

SynthUX Economy R5 W040数据集聚焦于多应用协同的计算机使用轨迹合成，为GUI智能体研究提供了高保真的视觉-行为对齐数据。在自动化办公与数字劳动力领域，该数据集通过模拟真实企业环境中跨平台（macOS、Windows、Browser）的多角色协作场景，推动了计算机智能体从单一应用操作向经济系统级任务执行的演进。其创新的‘目标-节点树’轨迹生成机制和富含输入事件的时间对齐标注，为训练具有复杂业务理解能力的自主智能体提供了关键支撑，尤其契合当下企业数字化转型对人机协同、流程自动化等前沿需求，对降低企业运营成本、提升决策效率具有深远意义。