synthux-economy-r5-w064

SynthUX Computer-Use数据集（economy sim r5版本）是一个基于视觉的计算机使用轨迹合成数据集，旨在模拟公司环境中员工的设备会话。数据通过SynthUX生成，每个记录代表一个参与者在模拟公司内的会话轨迹：目标扩展为节点树，终端节点通过低级别鼠标和键盘输入驱动真实的桌面模拟器应用（包括终端、笔记、VS Code、浏览器、Slack/Teams、邮件、Sheets、Slides等），观察到的轨迹被记录为屏幕视频和每个节点的帧图像。数据集支持应用原生多应用执行（无工作台覆盖），具有每参与者内容多样性、跨操作系统消息传递和大规模多公司经济模拟特性。每个经济模拟作为独立的数据集仓库发布。数据内容包括：data.jsonl文件（每个渲染轨迹一条记录）、screenshots/目录（每个终端节点的PNG帧图像，在节点最后输入事件时捕获）和videos/目录（完整的屏幕录制WebM视频）。记录模式详细描述了字段，如轨迹ID、参与者ID、公司、角色ID、职位、环境（模拟器类型：macos-web-next、windows-web-next或browser-os）、自然语言目标、节点树（包含surface、action、target、args）、密集的低级别输入事件（带时间戳）、因果模拟器状态观察值、观察与输入事件范围到节点ID的对齐，以及媒体引用（视频和帧）。本版本统计信息：包含36个轨迹、36个视频、990帧、6个公司，环境分布为browser-os（8个）、macos-web-next（9个）、windows-web-next（19个）。数据适用于计算机使用、GUI代理、合成数据和多应用交互等任务，标签包括computer-use、gui-agents、synthetic和multi-application。数据生成基于SynthUX工具，观察值为因果模拟（突变通道为低级别输入），未在捕获期间使用高级别应用突变。The SynthUX Computer-Use Dataset (economy sim r5 version) is a vision-based computer usage trajectory synthesis dataset developed to simulate employee device sessions within corporate environments. Generated via the SynthUX tool, each record represents a participant's session trajectory within a simulated corporation: Targets are expanded into node trees, and terminal nodes drive real desktop simulator applications (including Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, etc.) via low-level mouse and keyboard inputs. Observed trajectories are recorded as screen videos and frame images for each node. This dataset supports native multi-application execution (no workspace overlay), and features content diversity per participant, cross-operating system messaging, and large-scale multi-corporation economic simulation capabilities. Each economic simulation is released as an independent dataset repository. The dataset contents include: the data.jsonl file (one record per rendered trajectory), the screenshots/ directory (PNG frame images for each terminal node, captured at the final input event of the node), and the videos/ directory (full screen recording WebM videos). The record schema details fields including trajectory ID, participant ID, corporation, role ID, job title, environment (simulator type: macos-web-next, windows-web-next, or browser-os), natural language target, node tree (containing "surface", "action", "target", "args"), dense low-level input events (with timestamps), causal simulator state observations, alignment of observation and input event ranges to node IDs, and media references (videos and frames). Statistics for this version: 36 trajectories, 36 videos, 990 frames, and 6 corporations, with environmental distribution as browser-os (8), macos-web-next (9), and windows-web-next (19). This dataset is applicable to tasks such as computer usage, GUI agents, synthetic data, and multi-application interaction, with tags including computer-use, gui-agents, synthetic, and multi-application. The dataset is generated based on the SynthUX tool, with observations derived from causal simulation (mutation channel: low-level inputs), and no high-level application mutations were utilized during the capture phase.

原始信息汇总

数据集概述

SynthUX Computer-Use Dataset — economy sim r5 是一个基于模拟公司场景的计算机操作轨迹数据集，每条记录代表一位工人在模拟公司中的设备会话过程。

核心特征

• 任务类型：其他（计算机操作/图形用户界面代理）
• 标签：计算机使用、GUI代理、合成数据、多应用
• 许可证：Apache-2.0
• 数据集结构：
  • data.jsonl：每条渲染轨迹的记录
  • screenshots/<trajectory>/<node_id>.png：每个终端节点的帧（取自该节点最后一次输入事件时）
  • videos/<trajectory>.webm：完整的屏幕录像

记录字段说明

字段	含义
trajectory_id	唯一轨迹ID（格式：<actor>__<env>）
actor_id, company, role_id, title	执行者的身份与所属组织
env	模拟环境类型（macos-web-next / windows-web-next / browser-os）
goal	会话的自然语言目标
tree.nodes	执行者的终端节点（包含surface、action、target、args）
trajectory.input_events	密集的低级鼠标/键盘/脚本事件（含时间戳t_ms）
trajectory.observations	每个节点后的因果关系模拟器状态
trajectory.alignment	将观察结果和输入事件范围链接到节点ID
media.video	屏幕录像（webm格式）
media.frames	每个节点的PNG帧（含节点ID、时间戳、blob引用）

数据集规模（本构建版本）

• 轨迹总数：36条
• 视频数量：36个，帧总数：990张
• 公司数量：6家
• 环境分布：
  • browser-os：8条
  • macos-web-next：9条
  • windows-web-next：19条

生成方式

使用 SynthUX（synthux.multicompany.day.v1）生成。观察结果具有因果关系（变异通道为低级输入），捕获过程中未使用高级应用变异。

数据集详情页面地址

https://huggingface.co/datasets/jacob-valdez/synthux-economy-r5-w064

搜集汇总

数据集介绍

构建方式

SynthUX Economy R5 W064 数据集通过模拟多公司经济环境中的桌面办公场景构建而成。每位虚拟工作者在模拟公司内部执行自然语言描述的目标，该目标被分解为节点树结构，终端节点通过低层级鼠标与键盘操作驱动真实桌面模拟器应用，包括终端、笔记、代码编辑器、浏览器及通讯工具等。整个过程以屏幕视频和每节点帧的形式记录，采用原生多应用执行方式，无需工作台覆盖层，确保交互的真实性与多样性。

特点

该数据集的核心特点在于其多公司经济模拟框架，涵盖六家不同公司、36条完整轨迹及990帧屏幕截图，支持macOS、Windows及浏览器三类操作系统环境。每条轨迹包含丰富的低层级输入事件与因果性观察状态，确保数据的时间一致性与操作完整性。此外，数据集通过每参与者内容多样性及跨操作系统消息传递，真实再现了复杂的企业级人机交互场景。

使用方法

数据集以JSON Lines格式提供核心记录，每个轨迹包含唯一标识、工作者与公司信息、目标描述、节点树及密集输入事件序列。屏幕截图按轨迹与节点ID组织，视频以WebM格式存储。用户可通过解析data.jsonl文件获取轨迹元数据，结合screenshots与videos目录中的多媒体资源进行视觉语言模型训练或GUI代理行为分析，适用于多应用协同任务的建模与评估。

背景与挑战

背景概述

SynthUX Computer-Use (economy sim)数据集由SynthUX团队于近期创建，聚焦于多应用桌面环境下的图形用户界面（GUI）代理研究。其核心研究问题在于如何模拟真实企业场景中员工通过键盘鼠标操作多个应用程序（如终端、代码编辑器、浏览器、邮件等）以完成复杂目标的视觉轨迹。该数据集通过构建包含6家虚拟公司、36条轨迹的模拟经济系统，为GUI代理的鲁棒训练与评估提供了细粒度的多模态数据（包括屏幕视频、逐帧截图及底层输入事件记录）。其创新性在于摆脱了传统工作台覆盖层，实现了完全原生的多应用执行环境，对推动计算机使用领域从单任务模拟向复杂多组织协作场景的迁移具有重要价值。

当前挑战

该数据集面临的核心挑战包括：1) 领域问题方面，如何应对真实企业环境中应用程序组合的无穷变体与动态交互（如跨操作系统消息传递、文档协作），当前仅覆盖6家公司与5个模拟环境的有限场景难以泛化到私有软件或突发工作流；2) 构建过程中，需要解决低层鼠标键盘事件与高层语义目标之间的粒度鸿沟（如一条轨迹包含990帧截图），同时确保因果关系严格限定在原始输入操作而非应用高层API干预，这对仿真系统的保真度与开销控制构成显著技术瓶颈。

常用场景

经典使用场景

在自动化办公与图形用户界面智能代理的研究中，SynthUX经济模拟数据集（synthux-economy-r5-w064）提供了一个极具生态真实性的多应用计算机操作轨迹资源。该数据集以模拟公司为背景，记录了不同角色的员工在终端、笔记、代码编辑器、浏览器、通信与办公软件等多应用环境下，为完成自然语言目标所执行的完整鼠标键盘操作序列。研究团队可借助其中的屏幕录屏、逐节点截图与对齐的事件轨迹，构建和评估能够理解跨应用任务、自主规划并执行桌面操作的智能代理模型，尤其适用于多步骤、多窗口、跨平台协作场景下的行为建模与强化学习训练。

实际应用

在现实产业应用中，该数据集为构建企业级自动化助手、数字员工以及智能流程机器人提供了扎实的模仿学习与行为克隆基础。借助数据集中记录的邮件回复、文档协作、代码维护、即时通讯与会议安排等真实职场任务实例，开发者可以训练出理解特定岗位职责与企业组织结构的代理系统，帮助员工自动执行重复性跨应用操作，如从邮件提取任务并在代码仓库中创建分支、在Slack中同步进度等。同时，数据集的跨平台特性也使其适用于企业软件测试中GUI操作的自动化验证，从而在提高办公效率的同时降低人力成本与操作错误率。

衍生相关工作

SynthUX系列数据集的出现催生了一系列关于多应用桌面代理的研究分支。基于其提供的对齐事件轨迹与因果观察状态，研究者开发了层次化任务规划算法，将高层级目标递归拆解为可执行的终端节点动作序列。另有工作聚焦于利用其大量低层级输入事件训练视觉-语言模型，以实现对屏幕截图到代码操作命令的端到端映射。此外，由于该数据集记录了同一经济模拟中不同公司的员工行为，一些研究开始探索多代理系统下的角色建模与组织行为识别，推动人机协作从单点指令应答向理解团队协作逻辑的智能体演进。这些衍生工作共同拓展了GUI代理从实验室原型走向真实企业部署的研究路径。