jacob-valdez/synthux-economy-r4-w039

SynthUX计算机使用数据集——经济模拟r4是一个基于SynthUX生成的视觉计算机使用轨迹数据集，模拟公司环境中的工作会话。每个记录代表一个工作者在模拟公司设备会话中的轨迹：目标扩展为节点树，终端节点通过低级鼠标/键盘输入驱动真实桌面模拟器应用程序（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频以及每个节点的帧。数据集支持应用原生多应用程序执行（无工作台覆盖）、每个参与者的内容多样性、跨操作系统消息传递和大型多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。内容包含：data.jsonl（每个渲染轨迹的记录）、screenshots/<trajectory>/<node_id>.png（每个终端节点的帧，在节点最后一个输入事件时捕获）、videos/<trajectory>.webm（完整屏幕录制）。记录模式包括轨迹ID、参与者ID、公司、角色ID、标题、环境（模拟器类型）、目标（自然语言会话目标）、节点树、输入事件、观察结果、对齐信息以及媒体文件（视频和帧）。统计信息显示：轨迹36个、视频36个、帧973个、公司6个，环境分布为browser-os（9）、macos-web-next（14）、windows-web-next（13）。数据来源为SynthUX生成，观察是因果的（突变通道为低级输入），捕获期间未使用高级应用程序突变。SynthUX Computer Usage Dataset – Economic Simulation r4 is a visual computer interaction trajectory dataset generated by SynthUX, simulating work sessions within corporate environments. Each record captures the interaction trajectory of a worker during a simulated corporate device session: The target is expanded into a node tree, where terminal nodes drive real desktop emulator applications (e.g., terminal, Notes, VS Code, browsers, Slack/Teams, email, spreadsheets, slides, etc.) via low-level mouse and keyboard inputs. The observed trajectories are logged as screen recordings and per-node frame snapshots. This dataset supports native multi-application execution (no workspace overlay), content diversity across individual participants, cross-operating system messaging, and large-scale multi-corporate economic simulations. Each economic simulation is released as an independent dataset repository. The dataset includes the following files: data.jsonl (records for each rendered trajectory), screenshots/<trajectory>/<node_id>.png (frames of each terminal node, captured at the moment of the node's final input event), and videos/<trajectory>.webm (full screen recordings). The record schema consists of trajectory ID, participant ID, company, role ID, title, environment (emulator type), target (natural language session goal), node tree, input events, observations, alignment information, and media files (videos and frames). Statistical summary: 36 total trajectories, 36 videos, 973 frames, and 6 participating companies. The environment distribution is browser-os (9), macos-web-next (14), and windows-web-next (13). The dataset is generated by SynthUX, with causal observational data (the mutation channel relies on low-level inputs), and no high-level application mutations were utilized during data capture.

搜集汇总

数据集介绍

构建方式

本数据集基于SynthUX框架构建，专注于生成计算机操作轨迹。每条记录模拟一位工作人员在虚拟公司中的设备会话过程。其构建流程始于一个自然语言目标，该目标被逐步展开为一棵节点树，终端节点通过低层级的鼠标与键盘输入驱动多种桌面仿真应用——涵盖终端、笔记、代码编辑器、浏览器、即时通讯、邮件、表格与幻灯片等——从而完成具体操作。随后，系统记录完整的屏幕视频以及每个终端节点对应的图像帧。整个执行过程采用应用原生多应用模式，无工作台覆盖层干预，确保了轨迹的真实性与应用间的通信完整性。数据集以多公司经济仿真为基础，每个仿真场景独立发布为单独的数据仓库，本版本为其中一期。

特点

该数据集具备显著的结构化与多样性特征。每条轨迹包含唯一的标识符、所属公司与角色信息，以及自然语言目标描述。数据以节点树形式组织，每个终端节点详细记录其界面区域、动作类型、交互目标与参数。轨迹数据涵盖密集的低层级输入事件链、因果仿真状态序列，以及事件与节点之间的对齐关系，便于细粒度分析与评估。媒体方面，每条轨迹提供完整的屏幕录像及按节点切分的帧图像，支持视觉重现。构建于六个不同公司、三种操作系统仿真环境之上，本版本包含36条轨迹，共计973帧图像，体现了多场景、多应用、跨平台的丰富性。

使用方法

该数据集以标准格式提供，便于研究人员直接使用。核心数据文件为`data.jsonl`，每条记录包含完整的操作轨迹JSON对象；对应的屏幕截图存储于`screenshots/<trajectory>/<node_id>.png`路径下，每个终端节点对应一帧图像；完整屏幕录像则以webm格式存放于`videos/<trajectory>.webm`。使用者可依据`trajectory_id`字段进行轨迹检索，利用`env`字段按操作系统环境筛选，或通过`company`与`role_id`分析特定组织角色下的行为模式。数据中的`trajectory.input_events`与`trajectory.alignment`字段支持对低层级操作序列与高层级任务节点之间的映射研究，适合用于GUI代理训练、人机交互分析及多应用工作流建模等场景。

背景与挑战

背景概述

SynthUX Computer-Use（economy sim r4）数据集由SynthUX团队创建，发布于2024年，专注于多应用图形用户界面（GUI）代理的视觉计算机操作轨迹生成。该数据集通过模拟多公司经济环境，记录工人在设备会话中的自然语言目标转化为低层级鼠标键盘操作的全过程，涵盖终端、浏览器、办公软件等多种应用。其核心研究问题在于如何通过合成数据驱动GUI代理在复杂多应用场景下的自主操作能力。作为该领域首个大规模、多应用、跨操作系统模拟数据集，SynthUX为计算机使用代理的研究提供了关键的训练与评估基准，对提升人机交互自动化水平具有重要影响。

当前挑战

该数据集所解决的领域问题在于GUI代理在真实多应用环境中面临的操作复杂性挑战，包括跨应用任务分解、低层级输入与高层级目标的对齐，以及多公司经济模拟中角色与权限的多样性。构建过程中面临的挑战尤为突出：需在无覆盖层（no workbench overlay）条件下实现应用原生多应用执行，确保代理操作的真实性与一致性；同时需处理跨操作系统（macOS、Windows、浏览器）的输入事件多样性，并生成因果一致的观察状态序列。此外，大规模多公司经济模拟的扩展性、每会话节点树的合理规划，以及每秒屏幕记录与节点帧的精确对齐，均为技术实现上的核心难点。

常用场景

经典使用场景

在智能体与图形用户界面交互的研究领域中，SynthUX Economy模拟数据集为多应用协同操作任务的建模与评估提供了标准化的实验平台。该数据集特别适用于研究基于视觉的计算机使用智能体在模拟企业环境中的执行能力，涵盖了从自然语言目标分解为具体操作节点树，再通过低层级鼠标和键盘指令驱动终端应用程序的完整闭环。研究人员通常利用该数据集的36条轨迹、973帧图像及全屏视频记录，来训练和测试能够在多应用场景下自主完成复杂办公任务的智能模型，例如在终端、浏览器、邮件客户端、即时通讯工具和办公套件之间无缝切换并执行目标导向的操作序列。

解决学术问题

该数据集有效解决了计算机视觉与自主智能体交叉领域中长期存在的多应用场景下操作轨迹数据匮乏的难题。传统数据集往往局限于单一应用或封闭环境中的简单操作，无法捕捉真实企业工作流中跨应用、跨操作系统的复杂交互行为。SynthUX Economy模拟数据集通过引入多公司经济模拟框架，生成了具有因果一致性的观察状态与低层级输入事件的对齐记录，为研究者提供了探究智能体如何在不同应用间进行上下文保持、任务分解与动态规划的基础素材。这一贡献推动了面向图形用户界面的决策智能体从理论模型向可泛化、可评测的实证研究迈进了重要一步。

衍生相关工作

围绕SynthUX Economy模拟数据集的核心设计理念，已衍生出若干具有影响力的研究方向。其多应用节点树结构化表征启发了后续工作在目标分解与执行追踪方面的建模优化，例如将自然语言目标转化为层次化操作模板的算法研究。数据集中因果对齐的低层级输入事件与观察状态记录，为因果推断在智能体行为分析中的应用提供了范式参考。此外，多公司经济模拟框架被后续研究借鉴作为异构环境下智能体协作能力的评估基准，推动了多智能体系统在模拟组织管理场景下的能力边界探索。这些衍生工作共同构建了从数据生成到模型训练的完整研究链条，深化了学界对图形用户界面自主操作问题的系统认知。