synthux-economy-r5-w056

SynthUX Computer-Use数据集（economy sim r5版本）是一个合成生成的计算机使用轨迹数据集，专门设计用于模拟公司环境中的多应用工作流程。该数据集通过SynthUX系统生成，模拟真实工作者在公司设备上的操作会话：每个会话从一个自然语言目标开始，该目标被扩展为节点树，终端节点通过低级鼠标和键盘输入驱动真实的桌面模拟器应用程序（包括Terminal、Notes、VS Code、Browser、Slack/Teams、Mail、Sheets、Slides等）。观察到的轨迹被记录为屏幕视频和每个终端节点的静态帧。数据集采用应用原生的多应用执行方式（无工作台覆盖），具有每参与者内容多样性、跨操作系统消息传递和大型多公司经济模拟的特点。每个经济模拟作为独立的数据集仓库发布。数据集包含36个轨迹记录，涉及6个不同的公司，覆盖三种模拟环境：browser-os（9个）、macos-web-next（12个）和windows-web-next（15个）。每个记录包含完整的轨迹ID、参与者信息（actor_id、company、role_id、title）、环境类型、自然语言目标、节点树结构、密集的低级输入事件序列、因果模拟器状态观察、媒体对齐信息以及屏幕录制和节点帧的引用。数据以JSONL格式存储轨迹元数据，辅以PNG格式的节点截图和WebM格式的完整屏幕录制视频。该数据集适用于GUI智能体训练、计算机使用行为分析、多应用工作流建模和人机交互研究等任务。The SynthUX Computer-Use dataset (economy sim r5 version) is a synthetically generated computer usage trajectory dataset, specifically designed to simulate multi-application workflows in corporate environments. It is generated via the SynthUX system, emulating real worker operation sessions on company devices: each session starts with a natural language goal, which is expanded into a node tree, with terminal nodes driving real desktop simulator applications (including Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, etc.) through low-level mouse and keyboard inputs. Observed trajectories are recorded as screen videos and static frames for each terminal node. The dataset employs an application-native multi-application execution approach (no workbench overlay), featuring per-participant content diversity, cross-OS messaging, and large multi-company economic simulations. Each economic simulation is released as an independent dataset repository. The dataset contains 36 trajectory records, involving 6 different companies, covering three simulation environments: browser-os (9), macos-web-next (12), and windows-web-next (15). Each record includes a complete trajectory ID, participant information (actor_id, company, role_id, title), environment type, natural language goal, node tree structure, dense low-level input event sequences, causal simulator state observations, media alignment information, and references to screen recordings and node frames. Data is stored in JSONL format for trajectory metadata, supplemented with PNG-format node screenshots and WebM-format full screen recording videos. This dataset is suitable for tasks such as GUI agent training, computer usage behavior analysis, multi-application workflow modeling, and human-computer interaction research.

原始信息汇总

数据集名称

SynthUX Computer-Use Dataset — economy sim r5

许可证

Apache-2.0

任务类别

其他 (other)

标签

• computer-use (计算机使用)
• gui-agents (GUI代理)
• synthetic (合成数据)
• multi-application (多应用)

数据集简介

该数据集包含由 SynthUX 生成的、基于视觉的计算机使用轨迹。每条记录代表一名员工在模拟公司中的设备会话：一个目标展开为节点树，终端节点通过底层鼠标/键盘输入驱动真实的桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），并将观察到的轨迹记录为屏幕视频和逐节点帧。

数据集特点

• 应用原生多应用执行（无工作台覆盖）
• 每个角色的内容多样化
• 跨操作系统消息传递
• 大型多公司经济体模拟

文件内容

• data.jsonl — 每条渲染轨迹对应一条记录
• screenshots/<trajectory>/<node_id>.png — 每个终端节点在最后一次输入事件时的帧
• videos/<trajectory>.webm — 完整的屏幕录制视频

记录字段说明

字段	含义
trajectory_id	唯一标识 (<actor>__<env>)
actor_id, company, role_id, title	角色所属组织信息
env	模拟器类型：macos-web-next / windows-web-next / browser-os
goal	会话的自然语言目标
tree.nodes	角色的终端节点（包括 surface, action, target, args）
trajectory.input_events	密集的底层鼠标/键盘/脚本事件，包含时间戳 t_ms
trajectory.observations	每个节点后的因果模拟器状态
trajectory.alignment	将观测和输入事件范围链接到节点ID
media.video	屏幕录制（webm格式）
media.frames	逐节点PNG帧（节点ID, 时间戳, blob引用）

数据统计（当前构建版本）

• 轨迹数量：36 条
• 视频数量：36 个 · 帧数量：721 帧
• 公司数量：6 家
• 按模拟器环境分布：
  • browser-os：9 条
  • macos-web-next：12 条
  • windows-web-next：15 条

数据来源

使用 SynthUX (synthux.multicompany.day.v1) 生成。观测是因果性的（突变通道 = low_level_input）；在捕获过程中未使用高级应用突变。

搜集汇总

数据集介绍

构建方式

本数据集依托于SynthUX生成框架构建，旨在模拟多公司经济环境下的计算机使用轨迹。每条记录对应一名工作人员在模拟公司中的设备会话，其构建过程从自然语言目标出发，逐步展开为节点树，终端节点通过低层级鼠标与键盘输入驱动真实桌面模拟器应用程序（如终端、笔记、代码编辑器、浏览器、即时通讯工具、邮件、表格、幻灯片等）。整个操作轨迹被完整记录为屏幕视频及逐节点帧图像，确保数据具有高保真度的环境交互细节。

特点

数据集的核心特点在于其原生多应用执行能力，无需覆盖式工作台即可在真实模拟器环境中运行，并保障了跨演员内容多样性及跨操作系统通信。更关键的是，它实现了大规模多公司经济模拟，每个经济体系均独立发布为单独的数据集仓库。包含36条轨迹、721帧图像及6家公司的模拟数据，覆盖macOS、Windows及纯浏览器三种操作系统环境，为计算机使用行为研究提供了丰富且结构化的数据基础。

使用方法

数据集以标准格式发布，包含data.jsonl文件、逐节点截图文件夹及完整屏幕录制视频。每条轨迹通过trajectory_id唯一标识，并详细记录演员身份、公司、角色及任务目标。用户可解析JSONL文件获取低层级输入事件序列、因果模拟器状态及轨迹与节点的对齐信息，也可直接调用视频与帧图像进行视觉分析。适用于训练与评估GUI智能体、研究人机交互模式及模拟多应用工作流的学术与工程场景。

背景与挑战

背景概述

SynthUX Computer-Use (economy sim)数据集诞生于多智能体协作与图形用户界面自动化快速发展的背景下，由SynthUX团队于近期创建，专注于模拟企业环境中多个员工通过桌面应用完成复杂任务的视觉计算机使用轨迹。该数据集核心研究问题在于如何生成高保真、多应用协同的GUI操作数据，以支持自主智能体在真实办公场景下的感知与决策能力。通过构建包含6家公司、36条轨迹及721帧屏幕录制的模拟经济体，SynthUX推动了从单一应用操作向跨应用、跨操作系统生态的范式转变，为GUI智能体领域提供了重要的基准资源，并促进了多代理经济模拟与计算机使用行为的交叉研究。

当前挑战

该数据集面临的核心挑战在于模拟真实企业场景中多应用、多系统交互的复杂性与多样性，例如终端、浏览器、通信软件与办公套件间的无缝切换与数据流动，这对轨迹生成的因果一致性与低层级输入保真度提出了极高要求。构建过程中，需克服在每个虚拟员工设备上通过低层级鼠标键盘操作驱动多个桌面应用的技术难题，同时保证不同操作系统环境（macOS、Windows、浏览器）下的行为泛化能力。此外，生成基于自然语言目标的自洽轨迹树、确保每轮经济模拟中角色与公司间内容的差异化，以及大规模多公司协同运行的稳定性，均是数据构建与质量控制中的显著挑战。

常用场景

经典使用场景

在计算社会学与行为经济学交叉领域，SynthUX Economy R5 W056数据集为研究数字工作场景中的多智能体协作与决策行为提供了珍贵的仿真环境。该数据集记录了模拟公司内36条完整的GUI操作轨迹，涵盖6家虚拟企业的员工在终端、代码编辑器、浏览器、即时通讯及邮件等多应用环境下的真实操作路径。研究者可借助这些由自然语言目标驱动的操作序列，深入分析个体在不同组织角色约束下的任务执行策略与交互模式，从而构建更加鲁棒的智能体决策模型。其独特之处在于保留了低层次鼠标键盘事件与屏幕录像的对应关系，为多模态行为理解提供了精细化的标注基础。

实际应用

在工业界与商业自动化领域，该数据集可被直接用于训练和评估面向复杂企业工作流的桌面级自动化代理。例如，通过基于该数据构建的模型，能够实现跨Slack、邮件、电子表格与代码编辑器的多步骤业务流程自动编排，显著提升金融、审计或软件研发等知识密集型行业的运营效率。数据中涵盖的Windows、macOS及浏览器原生环境下的操作示范，为开发跨平台统一办公助手提供了高质量的校准基准。同时，由于数据集模拟了多角色协同场景，它也为设计需要感知同事状态、理解组织层级的协作式机器人（如虚拟助理）提供了不可或缺的训练素材，从而推动RPA（机器人流程自动化）向更高阶的认知自动化演进。

衍生相关工作

该数据集的发布已催生一系列值得关注的研究脉络。一方面，利用其多模态轨迹对齐特性，衍生出预测下一个最优GUI操作的序列模型（如模仿学习与逆强化学习基线），进一步验证了在复杂软件环境中类人操作策略的可迁移性。另一方面，围绕组织中不同角色执行效率差异的因果分析，促成了面向交互频率与任务完成时间的结构化回归模型，这为理解人机协作中的认知负载分配提供了实证基础。此外，部分团队已基于本数据集中的Screen视频与低级事件流，开展跨应用动作分割与语义泛化的研究，致力于构建能够将鼠标点击等低级事件自动映射到高级意图的分层神经网络架构，极大丰富了GUI智能体领域的方法论工具箱。