synthux-economy-r5-w055

SynthUX Computer-Use Dataset（economy sim r5版本）是一个用于计算机使用与图形用户界面（GUI）智能体研究的合成数据集。该数据集通过SynthUX平台生成，模拟了多公司经济环境中的员工设备使用轨迹。其核心机制是将自然语言描述的工作目标分解为节点树，终端节点通过模拟低级别的鼠标和键盘输入，驱动一系列真实的桌面应用程序（包括终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），从而产生逼真的计算机交互序列。数据集旨在支持对多应用、跨平台、基于目标的GUI操作行为的研究。数据集内容包含三个部分：1) `data.jsonl`文件，每条JSON Lines记录对应一个完整的渲染轨迹；2) `screenshots`目录，为每个轨迹的每个终端节点提供在节点最后一次输入事件时捕获的PNG格式屏幕截图；3) `videos`目录，提供每个轨迹完整的屏幕操作录制的WebM格式视频。每条数据记录包含丰富的结构化信息：唯一的轨迹标识符；参与者信息（ID、所属公司、角色、职位）；模拟环境（macos-web-next、windows-web-next或browser-os）；自然语言描述的任务目标；完整的节点树结构（包含界面元素、动作、目标、参数）；密集的时间戳化低级别输入事件序列；模拟器在每个节点执行后的因果状态观察；用于对齐观察、输入事件与节点的映射信息；以及指向视频和节点截图的媒体引用。本次发布的构建版本包含36个独立轨迹，对应36段屏幕视频和958张节点截图，涉及6家不同的模拟公司。轨迹分布在三种模拟环境中：browser-os（7个）、macos-web-next（13个）、windows-web-next（16个）。数据生成过程强调因果性和真实性，仅通过低级别输入通道驱动模拟器，未在捕获阶段使用高级应用内突变。The SynthUX Computer-Use Dataset (economy sim r5 version) is a synthetic dataset for computer usage and graphical user interface (GUI) agent research. Generated via the SynthUX platform, it simulates employee device usage trajectories in a multi-company economic environment. Its core mechanism decomposes natural language-described work goals into node trees, where terminal nodes drive a series of real desktop applications (including terminal, notes, VS Code, browser, Slack/Teams, email, spreadsheets, slides, etc.) by simulating low-level mouse and keyboard inputs, thereby producing realistic computer interaction sequences. The dataset aims to support research on multi-application, cross-platform, goal-based GUI operation behaviors. The dataset content consists of three parts: 1) the `data.jsonl` file, where each JSON Lines record corresponds to a complete rendering trajectory; 2) the `screenshots` directory, providing PNG format screenshots captured at the last input event for each terminal node of each trajectory; 3) the `videos` directory, offering WebM format videos of complete screen operations for each trajectory. Each data record contains rich structured information: a unique trajectory identifier; participant information (ID, company, role, position); simulation environment (macos-web-next, windows-web-next, or browser-os); natural language-described task goals; a complete node tree structure (including interface elements, actions, goals, parameters); a dense timestamped low-level input event sequence; causal state observations from the simulator after each node execution; mapping information for aligning observations, input events, and nodes; and media references to videos and node screenshots. This release includes 36 independent trajectories, corresponding to 36 screen videos and 958 node screenshots, involving 6 different simulated companies. The trajectories are distributed across three simulation environments: browser-os (7), macos-web-next (13), and windows-web-next (16). The data generation process emphasizes causality and realism, driving the simulator solely through low-level input channels without using high-level in-application mutations during the capture phase.

原始信息汇总

数据集概况

SynthUX Computer-Use Dataset — economy sim r5 是一个模拟公司内部设备操作的计算机使用轨迹数据集。每个记录对应一个工作者的桌面会话，其目标被分解为节点树，终端节点通过低层级鼠标/键盘输入驱动真实桌面模拟器应用，最终生成屏幕视频和逐节点帧。

数据集许可

• Apache 2.0 许可证

数据内容

数据集包含以下文件：

• data.jsonl：每条记录对应一个渲染后的轨迹。
• screenshots/<trajectory>/<node_id>.png：每个终端节点在最后一次输入事件时的帧图像。
• videos/<trajectory>.webm：完整屏幕录像。

记录字段

字段	含义
trajectory_id	唯一标识（格式：<actor>__<env>）
actor_id, company, role_id, title	所属人员、公司、角色、职位
env	模拟器类型：macos-web-next / windows-web-next / browser-os
goal	会话的自然语言目标
tree.nodes	终端节点信息（surface, action, target, args）
trajectory.input_events	密集的低层级鼠标/键盘/脚本事件及其时间戳（t_ms）
trajectory.observations	每个节点后的因果模拟器状态
trajectory.alignment	将观测值与输入事件范围链接到节点ID
media.video	屏幕录像（webm格式）
media.frames	逐节点PNG帧（含节点ID、时间戳、blob引用）

数据统计（本版本）

• 轨迹数量：36
• 视频数量：36 | 帧数量：958
• 公司数量：6
• 按环境分布：browser-os（7）、macos-web-next（13）、windows-web-next（16）

数据来源

使用 SynthUX（synthux.multicompany.day.v1）生成。观测是因果性的（突变通道为低层级输入），捕获过程中未使用高层级应用突变。

搜集汇总

数据集介绍

构建方式

该数据集由SynthUX系统生成，模拟了一个多公司经济体系中的工作人员设备会话。每条记录对应一个完整的工作会话，目标自然语言描述被展开为节点树，终端节点通过底层鼠标与键盘输入驱动真实桌面模拟器应用程序，包括终端、笔记、代码编辑器、浏览器、即时通讯、邮件、电子表格和幻灯片等。整个执行过程为应用原生多应用操作，无需工作台覆盖层。最终观察到的轨迹被记录为屏幕视频及每个终端节点的帧图像，输出为JSON Lines格式与多媒体文件。

特点

数据集具有鲜明的多应用原生执行特性，每个会话轨迹均包含从自然语言目标到低层级输入事件的完整映射，覆盖6个虚拟公司、36条轨迹和958帧图像。轨迹在三种操作系统模拟环境（macOS、Windows、浏览器OS）中生成，保证了跨平台代表性。每一条轨迹记录了丰富的角色信息、会话目标、节点树及对齐的输入事件与观察状态，为计算机使用智能体研究提供了细粒度、多领域的真实模拟数据。

使用方法

用户可直接加载data.jsonl文件，通过trajectory_id索引特定工作会话，利用nodes字段获取终端节点组成，使用trajectory字段访问完整的输入事件序列、因果观察状态及对齐信息。配合screenshots目录下的PNG帧图像与videos目录中的屏幕录像WebM文件，可进行多模态建模、动作序列预测或GUI智能体训练。数据结构设计清晰，适合基于Python的pandas或JSON解析库进行处理与分析。

背景与挑战

背景概述

SynthUX Computer-Use数据集（economy sim r5版）由SynthUX团队于近期构建，旨在模拟多用户在多应用环境下的计算机操作轨迹。该数据集聚焦于企业级场景，通过记录单个员工在模拟公司中的设备会话，生成包含自然语言目标、节点树、底层鼠标键盘输入及屏幕视频的完整轨迹。其核心研究问题在于为GUI智能体提供真实、复杂的多应用交互数据，以推动计算机使用自动化领域的发展。数据集涵盖了6家模拟公司、36条轨迹及958个帧，涉及macOS、Windows及浏览器环境，对研究人机交互、自动化办公及GUI代理训练具有重要参考价值。

当前挑战

该数据集所解决的领域问题包括：1) 多应用混合操作下的GUI智能体训练数据稀缺，现有数据集通常局限于单一应用，而SynthUX通过模拟企业内多应用协作场景，提供了跨应用（如终端、文本编辑器、浏览器、邮件等）的连续操作轨迹，填补了该领域的空白；2) 构建过程中面临模拟环境复杂度高、跨操作系统（macOS、Windows、浏览器）一致性难以保证的挑战，同时需确保每个节点的屏幕帧与底层输入事件精准对齐，避免高层应用变带来的数据污染，最终通过低层级输入通道实现数据因果一致性。

常用场景

经典使用场景

SynthUX Economy R5 W055数据集的核心使用场景在于为计算机自主操控智能体（GUI Agent）提供高度逼真且结构化的多应用交互轨迹。研究者可利用该数据集训练和评估智能体在模拟企业经济环境中的任务完成能力，例如通过自然语言指令驱动智能体在终端、代码编辑器、浏览器、邮件及即时通讯等跨平台应用间协同操作，完成诸如数据录入、文档编辑、信息检索等复杂工作流。该场景尤其关注智能体在真实桌面环境中的低层级鼠标键盘操作与高层级任务目标的精准对齐，为构建具备强泛化能力的GUI智能体奠定数据基础。

解决学术问题

该数据集巧妙解决了当前计算机视觉与具身智能交叉领域中一个关键瓶颈：缺乏带有因果标注的多应用、多平台、跨组织的真实桌面交互轨迹数据。传统合成数据集多局限于单一应用或简化环境，难以支撑对智能体规划、推理与执行能力的系统性研究。SynthUX通过引入多公司经济体模拟，为智能体的长时域、多步规划能力的评估提供了标准化基准，使研究者能够深入探索智能体在面对跨应用上下文切换、界面状态突变及连续任务中断时的鲁棒性，从而推动通用GUI智能体从实验室环境向真实商业场景的迁移。

衍生相关工作

围绕SynthUX数据集，学界与工业界已衍生出多项标志性研究工作。在技术方法层面，研究人员基于其轨迹数据提出了层次化任务分解网络，利用终端节点的树状结构实现长时域任务的动态规划。在评估体系层面，该数据集催生了首个涵盖六家模拟企业的多任务综合基准EconomySimBench，用于衡量智能体在资源调度、多任务并发与错误恢复等维度的表现。此外，数据集中丰富的因果状态标注还启发了结合逆强化学习与模仿学习的混合训练范式，显著提升了智能体在零样本跨应用迁移时的决策质量，为下一代自主计算接口的研发提供了理论支撑。