jacob-valdez/synthux-economy-r4-w012

SynthUX计算机使用数据集（经济模拟r4）是由SynthUX生成的基于视觉的计算机使用轨迹数据集。每个记录代表一个工作者在模拟公司内的设备会话：一个目标扩展为节点树，终端节点通过低级别鼠标/键盘输入驱动真实桌面模拟器应用程序（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频和每个节点的帧。数据集支持应用原生多应用程序执行（无工作台覆盖）、每个参与者内容多样性、跨操作系统消息传递以及大型多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。SynthUX Computer Usage Dataset (Economic Simulation r4) is a vision-based computer usage trajectory dataset generated by SynthUX. Each record represents a worker's device session within a simulated company: a target is expanded into a node tree, where terminal nodes drive real desktop simulator applications (such as Terminal, Notes, VS Code, browsers, Slack/Teams, Mail, Sheets, Slides, etc.) via low-level mouse and keyboard inputs. The observed trajectories are recorded as screen videos and frames for each node. The dataset supports native multi-application execution (no workspace overlay), content diversity per participant, cross-OS messaging, and large-scale multi-company economic simulations. Each economic simulation is released as an independent dataset repository.

搜集汇总

数据集介绍

构建方式

SynthUX-Economy-R4-W012数据集基于模拟企业场景构建，通过SynthUX框架生成基于视觉的计算机操作轨迹。每个记录代表一名工作者在模拟公司内的设备会话：一个自然语言目标被展开为节点树，终端节点通过底层鼠标和键盘输入驱动真实的桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等）。操作轨迹以屏幕视频和每节点帧的形式捕获，每个经济模拟独立发布为其自有数据集仓库。本版本包含36条轨迹、1125帧画面和6个模拟公司，涵盖三种操作系统环境（browser-os 16条、macos-web-next 8条、windows-web-next 12条），确保了多平台覆盖。

特点

该数据集的核心特点在于其原生多应用执行环境，无工作台叠加层干扰，真实模拟了跨应用协作场景。每个轨迹包含操作者的角色信息（如公司、职位）、自然语言目标、节点树中的终端节点细节（表面、动作、目标、参数），以及密集的低级鼠标/键盘事件流和时间戳。轨迹还提供了因果模拟器状态、观测与输入事件至节点的对齐链接，以及完整的屏幕录像和每节点PNG帧。数据集的多样性体现在每角色内容区分、跨操作系统消息传递以及大规模多公司经济模拟，为计算机使用智能体的训练提供了丰富的多模态训练信号。

使用方法

使用该数据集时，研究人员可从`data.jsonl`文件加载每条轨迹记录，利用`trajectory_id`、`actor_id`、`goal`等字段进行目标驱动的操作分析。通过`screenshots/`目录下的每节点帧和`videos/`目录下的完整屏幕录像，可进行视觉-动作序列的条件建模。低级输入事件（`trajectory.input_events`）和因果状态（`trajectory.observations`）支持精细的行为克隆与因果推理研究。数据集采用Apache-2.0许可证，适用于GUI智能体、多应用操作及经济模拟场景的基准测试与模型评估，开发者可按需提取特定环境或公司的子集进行针对性实验。

背景与挑战

背景概述

SynthUX Computer-Use (economy sim)数据集由SynthUX团队创建，聚焦于多应用桌面环境下的计算机使用行为建模。该数据集的核心研究问题在于模拟真实企业中员工在多个异构应用（如终端、笔记、代码编辑器、浏览器、即时通讯、办公套件等）之间的自然交互轨迹。通过构建包含6家模拟公司、36条轨迹、1125帧画面的数据资源，它采用因果性的低层级输入记录（鼠标、键盘、脚本事件），实现了不依赖工作台覆盖的原生多应用执行。这一设计突破了传统GUI代理研究中对单一应用或简化环境的依赖，为计算机使用行为的细粒度分析与泛化提供基准，对自主智能体在复杂软件环境中的决策研究具有重要推动作用。

当前挑战

该数据集主要应对两大挑战。第一，领域问题层面，现有GUI代理数据集多局限于单一应用或合成工作台，缺乏反映真实多应用协同场景的开放世界交互数据，导致模型难以泛化至跨应用任务；SynthUX通过模拟企业经济中的多角色、多应用协作环境，弥合了这一鸿沟。第二，构建过程层面，数据的因果性采集要求严格区分低层级输入与高层级应用状态变化，避免非因果观察对轨迹真实性的污染；同时，跨操作系统（macOS、Windows、浏览器）的异构仿真环境带来渲染一致性、事件同步及内容多样性的技术难题，每个经济模拟需独立维护数据集的生成与验证流水线，增加了规模化构建的复杂度。

常用场景

经典使用场景

在人工智能与软件工程交叉领域中，该数据集专为训练与评估图形用户界面智能体而生。其核心场景是模拟真实企业环境中多应用协同操作，通过记录完整的屏幕视频、低层级鼠标键盘事件及因果状态快照，为研究者提供了从自然语言目标到具体GUI操作的端到端轨迹数据。研究人员可借此构建能够理解复杂业务指令、自主完成跨应用工作流的智能体模型，例如在模拟经济环境中调度多个办公软件完成数据录入、邮件沟通或文档编辑等任务，从而推动人机交互智能从单一步骤向多步骤、多应用协同的跃迁。

解决学术问题

该数据集精准回应了当前GUI智能体研究中的三大核心瓶颈：一是缺乏包含真实操作系统级交互（非浏览器沙盒）的高保真轨迹数据；二是现有数据集多聚焦单应用任务，难以支撑多应用、多角色协作场景的建模；三是缺少以企业组织结构为背景的因果状态标注。通过提供跨操作系统、跨应用、带角色属性和完整因果链的36条轨迹，它使得研究者能够系统性探究语言指令与复杂GUI环境之间的语义对齐问题、多应用间的状态同步与任务分解策略，以及不同操作系统差异对智能体泛化能力的影响，显著降低了学术入门的门槛。

衍生相关工作

该数据集及其生成框架SynthUX已催生了一系列前沿探索。最直接的延伸工作是开发基于因果状态注意力机制的GUI智能体架构，利用数据集中对齐的节点帧与事件序列，设计能够从屏幕截图中自主推断执行进度的神经网络。衍生研究中，有团队利用跨操作系统轨迹数据训练域适应模型，探索从browser-os到macos-web-next等不同环境间的技能迁移。另一个重要方向是基于多公司经济数据训练层次化任务规划器，使其既能理解高层业务目标，又能分解为可执行的GUI基本操作。这些工作共同推动了从静态截图任务合成向动态因果轨迹生成范式的转变，为下一代通用型计算机使用智能体奠定了数据基石。