synthux-economy-r5-w062

SynthUX Computer-Use数据集（economy sim r5版本）是一个用于计算机使用和图形用户界面（GUI）代理任务的合成数据集。该数据集旨在通过模拟真实公司环境中的员工设备会话来生成基于视觉的计算机使用轨迹。每个数据记录代表一名员工在模拟公司内的完整会话过程。其核心机制是将自然语言目标扩展为节点树，其中终端节点通过低级别的鼠标和键盘输入，驱动一系列真实的桌面模拟器应用程序（包括终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等）。整个交互过程被完整捕获，形成两种主要数据形式：全过程的屏幕录制视频，以及每个终端节点在最后输入事件时刻的静态截图帧。数据集采用应用原生的多应用程序执行模式，无需工作台覆盖层，并强调每个参与者（actor）的内容多样性、跨操作系统（macOS、Windows、浏览器OS）的消息传递，以及大型多公司经济模拟的构建。每个经济模拟会作为独立的数据集仓库发布。数据文件包括按行存储轨迹记录的JSONL文件、按轨迹和节点ID组织的PNG截图文件夹，以及WebM格式的屏幕录像文件夹。记录模式详细定义了轨迹ID、参与者与组织信息（ID、公司、角色、职位）、模拟环境、自然语言目标、节点树结构、密集的低级输入事件序列、因果模拟器状态观测、观测与事件的节点对齐信息，以及媒体文件引用。本构建版本包含36条轨迹、36个视频、834帧图像，涉及6个不同的模拟公司，环境分布为浏览器OS（10条）、macOS网页模拟（8条）和Windows网页模拟（18条）。数据由SynthUX系统生成，确保观测的因果性，仅使用低级输入作为突变通道，未在捕获阶段引入高级应用突变。该数据集适用于训练和评估能够理解并执行复杂、多步骤计算机任务的GUI智能体。The SynthUX Computer-Use dataset (economy sim r5 version) is a synthetic dataset for computer use and graphical user interface (GUI) agent tasks. It aims to generate vision-based computer use trajectories by simulating employee device sessions in realistic company environments. Each data record represents a complete session of an employee within a simulated company. Its core mechanism expands natural language goals into a node tree, where terminal nodes drive a series of real desktop simulator applications (including terminal, notes, VS Code, browser, Slack/Teams, email, spreadsheets, slides, etc.) through low-level mouse and keyboard inputs. The entire interaction process is fully captured, forming two main data formats: screen recording videos of the entire process, and static screenshot frames at the moment of the final input event for each terminal node. The dataset employs an application-native multi-application execution mode without workspace overlays, emphasizing content diversity per actor, cross-operating system (macOS, Windows, browser OS) messaging, and the construction of large multi-company economy simulations. Each economy simulation is released as an independent dataset repository. Data files include JSONL files storing trajectory records line-by-line, PNG screenshot folders organized by trajectory and node IDs, and WebM format screen recording folders. The recording mode details trajectory ID, participant and organizational information (ID, company, role, position), simulation environment, natural language goal, node tree structure, dense low-level input event sequences, causal simulator state observations, node alignment information for observations and events, and media file references. This build version contains 36 trajectories, 36 videos, 834 frames, involving 6 different simulated companies, with environment distribution as browser OS (10), macOS web simulation (8), and Windows web simulation (18). The data is generated by the SynthUX system, ensuring causal observations, using only low-level inputs as mutation channels without introducing high-level application mutations during capture. This dataset is suitable for training and evaluating GUI agents capable of understanding and executing complex, multi-step computer tasks.

原始信息汇总

SynthUX Computer-Use 数据集 — economy sim r5

数据集概述

这是一个基于 SynthUX 生成的接地视觉计算机使用轨迹数据集，模拟了一家虚拟公司内员工的设备会话。每条记录代表一个员工的桌面会话，包含从目标到操作的完整节点树，最终通过低层级鼠标/键盘操作驱动真实桌面模拟器应用，并记录完整的屏幕视频和逐节点图像帧。

文件结构

• data.jsonl — 每条渲染轨迹的记录
• screenshots/<trajectory>/<node_id>.png — 每个终端节点在最后一次输入事件时的图像帧
• videos/<trajectory>.webm — 完整的屏幕录制视频

记录字段说明

字段	说明
trajectory_id	唯一标识符（<actor>__<env>）
actor_id, company, role_id, title	员工身份及所属组织信息
env	模拟器类型：macos-web-next / windows-web-next / browser-os
goal	会话的自然语言目标
tree.nodes	员工的终端节点（包含 surface, action, target, args）
trajectory.input_events	密集的低层级鼠标/键盘/脚本事件，含时间戳 t_ms
trajectory.observations	每个节点后的因果模拟器状态
trajectory.alignment	将观测和输入事件范围与节点 ID 关联
media.video	屏幕录制视频（webm 格式）
media.frames	逐节点 PNG 图像帧（含节点 ID、时间戳、二进制引用）

数据集统计（当前版本）

• 轨迹数量：36 条
• 视频数量：36 个
• 图像帧数量：834 帧
• 公司数量：6 家
• 按模拟器环境分布：
  • browser-os：10 条
  • macos-web-next：8 条
  • windows-web-next：18 条

数据特点

• 原生多应用执行（无工作台叠加层）
• 每个参与者的内容多样性
• 跨操作系统消息传递
• 大型多公司经济体仿真

许可证

Apache-2.0

搜集汇总

数据集介绍

构建方式

SynthUX Economy R5 W062数据集的构建源自于对多公司经济体系内计算机使用轨迹的合成模拟。每一笔记录对应一名虚拟员工在仿真公司环境中的设备会话，其核心机制在于将自然语言目标逐步展开为节点树，终端节点通过低层级鼠标与键盘输入驱动桌面模拟器应用——涵盖终端、笔记、代码编辑器、浏览器、即时通讯、邮件、表格与演示文稿等工具。所有操作均在应用原生界面中执行，无工作台覆盖层干扰。观察到的轨迹以屏幕视频及逐节点帧图像的形式被完整捕获，每个经济仿真场景独立发布为一个数据集仓库。

特点

该数据集突出展现了多应用协同执行与跨操作系统消息交互的真实性，同时保障了每个虚拟角色的内容多样性。数据结构包含完整的轨迹标识符、角色组织归属、模拟环境类型、自然语言目标、终端节点集合、密集的低层级事件流、因果模拟状态以及节点与事件的精确对齐信息。统计显示，本版本涵盖36条轨迹、834帧图像及6家虚拟公司，支持macOS、Windows与原生浏览器三种模拟环境，具备场景覆盖广、操作粒度细与环境类型均衡的显著优势。

使用方法

用户可通过加载data.jsonl文件访问每条轨迹的完整记录，每条记录包含从目标到低层级操作的详尽字段。轨迹对应的全屏屏幕录像存储于videos目录以webm格式提供，而每个终端节点在最后输入事件时刻的帧图像则按trajectory_id与node_id组织在screenshots目录下。建议研究者利用轨迹对齐信息——将观测状态与输入事件范围映射至具体节点编号——进行细粒度的行为分析或计算机使用智能体训练，特别适用于多应用协作场景下的人机交互建模与评估任务。

背景与挑战

背景概述

SynthUX Computer-Use (economy sim) 数据集由 SynthUX 团队于近期创建，旨在模拟企业环境中多应用、多操作系统下的图形用户界面（GUI）代理行为。该数据集的核心研究问题在于如何生成逼真、多样且结构化的计算机操作轨迹，以支持自主代理在复杂桌面生态中的学习与评估。通过构建包含公司、角色与任务的经济模拟框架，数据集为跨平台（macOS、Windows、浏览器）的GUI代理研究提供了首个可重复的合成基准。其影响力体现在推动了从单任务自动化向多应用协同、跨组织交互的研究范式转变，填补了现有计算机使用场景中缺乏大规模、多参与者结构化轨迹数据的空白。

当前挑战

该数据集所解决的领域挑战主要聚焦于GUI代理在真实企业环境中的泛化能力：现有数据集多局限于单一应用或孤立任务，难以应对多窗口切换、跨应用数据流及操作系统级输入时序的复杂性。在构建过程中，SynthUX面临模拟真实用户行为的核心难题——需在低层级鼠标/键盘事件与高层级目标之间建立可溯源的因果映射，同时保证每个经济模拟中不同角色（如开发者、管理者）的操作多样性。此外，跨OS环境（macOS、Windows、浏览器）的渲染差异导致轨迹对齐成本高昂，而大规模多公司经济模拟的生成则需平衡计算资源与数据保真度，避免因模拟简化而损失任务生态的现实性。

常用场景

经典使用场景

在计算机使用代理与图形用户界面自动化研究的交汇处，SynthUX Economy 数据集为多应用协同操作提供了无与伦比的测试平台。该数据集特别适用于训练和评估那些需要在复杂企业环境中完成跨应用程序任务的智能体，例如在模拟公司中，代理必须协调使用终端、代码编辑器、浏览器、即时通讯工具和电子表格等多种软件。研究者可借助其密集的低级鼠标键盘事件记录与屏幕录像，深入探究代理在真实桌面模拟器上的决策过程与行为模式。

实际应用

在实际工业场景中，该数据集直接服务于企业级自动化助手与数字员工平台的开发。基于这些轨迹训练的模型可以赋能智能客服系统自主处理跨系统审批流程，辅助软件测试团队自动执行涉及多应用交互的回归测试，或支撑个人虚拟助手完成诸如“从邮件中提取数据并在电子表格中生成报告”之类的复合指令。其多环境（macOS、Windows、浏览器）的覆盖能力，确保了解决方案在不同操作系统间的可迁移性。

衍生相关工作

该数据集的诞生催生了一系列前沿研究方向。代表性工作包括基于层次化节点树的视觉-动作策略学习框架，通过将复杂目标分解为可执行的原子操作来提升代理的透明度；另外，因果推断方法也被引入以分析低级输入事件对应用状态的时序影响，从而优化代理的纠错机制。此外，多智能体协作环境中角色扮演的训练范式也吸取了该数据集中跨公司交互的灵感，推动了从单代理任务执行向多代理经济模拟的演进。