jacob-valdez/synthux-economy-r5-w079

SynthUX计算机使用数据集（经济模拟r5）是一个基于模拟环境的计算机使用轨迹数据集，由SynthUX生成。每个记录代表一个模拟公司内的工作者的设备会话，其中自然语言目标被扩展为节点树，终端节点通过低级别鼠标和键盘输入驱动真实的桌面模拟器应用程序（包括终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等）。观察到的轨迹被记录为屏幕视频和每个节点的帧。数据集支持应用原生多应用程序执行（无工作台覆盖），具有每个参与者内容的多样性、跨操作系统消息传递以及大型多公司经济模拟的特点。每个经济模拟作为独立的数据集存储库发布。数据集内容包括数据文件（data.jsonl）、每个轨迹的截图（PNG格式）和全屏录制视频（webm格式）。记录模式涵盖轨迹ID、参与者信息、环境、目标、节点树、输入事件、观察结果、对齐信息以及媒体引用。本版本包含3个轨迹、3个视频、80帧、2个公司，所有环境均为browser-os。数据生成使用SynthUX（synthux.multicompany.day.v1），观察结果是因果的（突变通道为低级别输入），捕获过程中未使用高级别应用程序突变。The SynthUX Computer Usage Dataset (Economic Simulation r5) is a computer usage trajectory dataset based on simulated environments, generated by SynthUX. Each record represents a device session of a worker within a simulated company, where natural language goals are expanded into node trees, and terminal nodes drive real desktop emulator applications (including terminals, notes, VS Code, browsers, Slack/Teams, email, spreadsheets, slides, etc.) via low-level mouse and keyboard inputs. Observed trajectories are recorded as screen videos and frames for each node. The dataset supports native multi-application execution (no workspace overlay), and features content diversity across participants, cross-operating system messaging, and large-scale multi-company economic simulations. Each economic simulation is released as an independent dataset repository. The dataset content includes data files (data.jsonl), screenshots of each trajectory (in PNG format), and full-screen recorded videos (in WebM format). Record schemas cover trajectory ID, participant information, environment, goals, node trees, input events, observations, alignment information, and media references. This version contains 3 trajectories, 3 videos, 80 frames, 2 companies, and all environments are browser-os. Data generation was performed using SynthUX (synthux.multicompany.day.v1), the observations are causal with the mutation channel utilizing low-level inputs, and no high-level application mutations were employed during the capture process.

搜集汇总

数据集介绍

构建方式

本数据集基于SynthUX框架生成，聚焦于模拟企业环境下的图形用户界面（GUI）智能体交互轨迹。每条记录对应一个模拟公司中某位员工的一次设备会话：给定一个自然语言目标，系统将其分解为节点树，终端节点通过底层鼠标与键盘输入驱动桌面模拟器应用（如终端、笔记、代码编辑器、浏览器、即时通讯、邮件、表格与演示文稿等）。观察到的完整轨迹被记录为屏幕视频与逐节点帧图像，并采用因果模拟方式（仅通过低层级输入改变状态）确保数据真实性。

特点

数据集具备鲜明的原生多应用协同执行特征，摒弃传统工作台覆盖层，直接调用应用程序原生接口。每位参与者拥有独立的内容多样性，支持跨操作系统消息交互，并构建了包含多公司的大型经济模拟生态。此版本包含36条轨迹、929帧图像及6个不同的模拟公司，覆盖macOS、Windows与纯浏览器三种操作系统环境，提供丰富的跨平台GUI交互实例。

使用方法

数据以标准JSON Lines格式存储于data.jsonl文件中，每条记录包含轨迹标识符、参与者身份与目标、节点树结构、密集的低层级输入事件（含时间戳）、因果模拟器状态、媒体资源引用以及轨迹与节点间的对齐信息。屏幕截图以PNG格式按轨迹与节点标识符组织于screenshots目录，完整屏幕录制视频以WebM格式存放于videos目录。研究者可直接解析JSON结构提取输入事件序列、观察状态与媒体资源，用于训练或评估GUI智能体模型。

背景与挑战

背景概述

SynthUX Computer-Use (economy sim) 数据集由 Multi-Company Day 团队于 2024 年使用 SynthUX 框架创建，旨在为图形用户界面（GUI）智能体研究提供大规模、多应用程序的计算机操作轨迹数据。该数据集模拟了包含六家公司的虚拟经济体，记录了 36 条完整的桌面会话，涵盖 macOS、Windows 及浏览器操作系统环境，每个会话包含自然语言目标、底层鼠标/键盘事件、屏幕视频及节点帧。其核心研究问题在于如何通过合成数据驱动 GUI 智能体在复杂多应用场景下的泛化能力，填补了现有数据集在跨组织、跨平台及多应用协同操作方面的空白，对自动化办公、数字孪生及人机交互研究具有重要推动作用。

当前挑战

SynthUX 数据集面临的核心挑战在于其解决的领域问题：GUI 智能体需要理解并操作真实桌面环境中的多应用协同任务，例如在浏览器、终端、邮件及协作工具间切换，而现有模型在跨应用状态追踪与意图对齐上表现脆弱。构建过程中，主要挑战包括：1) 生成高度可变的个体工作流以模拟真实员工行为差异，避免合成轨迹模式固化；2) 在无高层应用 API 介入下，仅通过低层输入事件维持因果一致性，确保操作逻辑的物理可还原性；3) 跨操作系统（macOS vs Windows）的消息传递与窗口管理逻辑的异构性，要求轨迹生成引擎兼容不同环境语义。这些挑战均需在合成数据规模与保真度之间取得平衡。

常用场景

经典使用场景

在计算机使用与图形用户界面代理研究领域，SynthUX Economy数据集为多应用协同任务的细粒度行为建模提供了标准化的试验场。其核心价值在于，每个轨迹记录了一名虚拟员工在模拟公司环境中通过鼠标、键盘等低层级操作完成自然语言目标的完整过程，并同步提供屏幕录像与逐节点截图。研究者可借此剖析人机交互中的决策链条、跨应用切换模式（如终端、浏览器、邮件、协作工具等），以及操作序列与界面状态变更的因果关系。作为多公司经济体模拟数据集，它特别适合评估GUI代理在具有内容多样性、跨操作系统通信和复杂组织层级场景下的泛化能力与鲁棒性。

衍生相关工作

围绕SynthUX Economy数据集，学术界已涌现出若干标志性衍生工作。基于其多公司模拟架构，研究者提出了‘经济规模泛化理论’，验证了在小型企业体上训练的代理策略可零样本迁移至大型企业场景。在跨应用推理方面，有工作利用数据集的节点对齐信息，构建了从低级输入事件到高级语义意图的多尺度编码器，显著提升了代理对复杂工作流的因果推导能力。此外，其因果状态记录机制催生了‘最小干预框架’，通过对比观察路径与预测路径的偏离值，自动识别代理在链式任务中的策略脆弱点。这些工作共同推动了GUI代理领域从经验驱动向理论建模的过渡，使可解释、可验证的自主系统设计成为可能。

数据集最近研究

最新研究方向

该数据集聚焦于计算机使用（Computer-Use）领域的前沿研究，特别是基于合成数据驱动的图形用户界面（GUI）智能体模拟。synthux-economy-r5-w079 通过构建多公司虚拟经济体，模拟真实办公场景中的跨应用复杂任务执行，如终端、浏览器、办公套件等桌面应用的协同操作。这标志着 GUI 智能体研究从单一任务转向多应用、跨平台的动态协作环境。其合成轨迹数据为训练和评估自主办公智能体提供了高保真、可扩展的基准，尤其在当前大模型驱动的智能体热潮中，填补了细粒度视觉-动作对齐数据的空白，对推动企业级自动化与人机协作系统的落地具有重要示范意义。