jacob-valdez/synthux-economy-r5-w032

SynthUX计算机使用数据集（经济模拟r5）是一个由SynthUX生成的基于视觉的计算机使用轨迹数据集。每个记录代表一个工人在模拟公司内的设备会话：目标扩展为节点树，终端节点通过低级别的鼠标/键盘输入驱动真实的桌面模拟器应用程序（包括Terminal、Notes、VS Code、Browser、Slack/Teams、Mail、Sheets、Slides等），观察到的轨迹被记录为屏幕视频加上每个节点的帧。该数据集支持应用原生多应用程序执行（无工作台覆盖）、每个参与者的内容多样性、跨操作系统消息传递和大型多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。数据集包含data.jsonl文件（每个渲染轨迹一个记录）、screenshots文件夹（每个轨迹的终端节点帧，以PNG格式存储）和videos文件夹（完整的屏幕录制，以WebM格式存储）。记录模式包括trajectory_id、actor_id、company、role_id、title、env、goal、tree.nodes、trajectory.input_events、trajectory.observations、trajectory.alignment、media.video和media.frames等字段。统计信息显示有36个轨迹、896个帧、6个公司，并按环境（browser-os: 10, macos-web-next: 13, windows-web-next: 13）分布。数据集由SynthUX生成，观察是因果的（突变通道为低级别输入），在捕获过程中未使用高级应用程序突变。The SynthUX Computer-Use Dataset (economy sim r5) is a dataset of grounded visual computer-use trajectories generated by SynthUX. Each record represents one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator applications (such as Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, etc.) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. It features app-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repository. The dataset includes data.jsonl (one record per rendered trajectory), screenshots folder (frames per terminal node in PNG format), and videos folder (full screen recordings in WebM format). The record schema includes fields like trajectory_id, actor_id, company, role_id, title, env, goal, tree.nodes, trajectory.input_events, trajectory.observations, trajectory.alignment, media.video, and media.frames. Statistics show 36 trajectories, 896 frames, 6 companies, and distribution by environment (browser-os: 10, macos-web-next: 13, windows-web-next: 13). The dataset is generated with SynthUX, with observations being causal (mutation channel = low_level_input) and no high-level app mutation used during capture.

搜集汇总

数据集介绍

构建方式

本数据集源于SynthUX框架在模拟经济环境中的自动化生成流程。每个数据记录对应一次虚拟员工在合成公司内部的设备会话：系统首先将一条自然语言目标拆解为行为节点树，随后由终端节点驱动真实桌面模拟器应用（包括终端、笔记、代码编辑器、浏览器、即时通讯工具、邮件、表格与演示文稿等）执行底层鼠标与键盘操作。整个交互过程被记录为完整的屏幕视频以及每个终端节点对应的关键帧图像。所有轨迹均基于因果观测模式生成，仅依赖底层输入通道的突变，未引入任何高层应用级变异手段，从而保证了数据的纯粹性与可复现性。

特点

该数据集的核心特点在于其原生多应用协同执行能力与高度多元化的内容生态。每条轨迹均在无工作台覆盖的真实桌面模拟环境中运行，涵盖macOS与Windows双平台及纯浏览器模式，并通过跨操作系统消息机制实现多公司经济系统间的信息流转。本构建版本包含来自6家模拟公司的36条完整轨迹、896张节点帧与同等数量的屏幕录像，其参与者身份、角色与目标均经过差异化设计，显著提升了数据集在GUI智能体研究与多应用场景理解任务中的多样性与代表性。

使用方法

数据集以标准的JSONL格式存储，每条记录包含轨迹唯一标识符、执行环境类型、自然语言目标、行为节点树、密集底层输入事件序列及因果状态观测信息。使用者可通过解析'trajectory.input_events'字段获取带时间戳的鼠标与键盘事件流，利用'trajectory.alignment'映射将事件区间与节点ID对齐，进而对智能体的决策过程进行细粒度分析。配套的屏幕录像与节点帧图像分别存放于'videos'与'screenshots'子目录中，便于进行视觉特征提取或多模态模型训练，进一步拓展了数据在GUI自动化与行为建模领域的应用边界。

背景与挑战

背景概述

在图形用户界面（GUI）智能代理领域，真实世界多应用交互轨迹的稀缺性长期制约着基于视觉的自主计算机操作研究。由SynthUX团队构建的synthux-economy-r5-w032数据集，于2024年发布，旨在模拟多公司经济体系中的员工设备操作场景，覆盖终端、代码编辑器、浏览器、协作通讯软件等多类桌面应用。该数据集通过合成轨迹生成技术，产出了包含36条完整操作路径、896帧视觉观测的室内模拟数据，并涉及macOS与Windows双平台，为跨应用、跨系统的GUI代理训练提供了高保真基准资源，推动了从单任务代理向复合办公环境智能体的研究演进。

当前挑战

当前数据集面临的核心挑战包括：一、领域问题层面，如何将从模拟环境中学习的GUI操作策略有效迁移至真实桌面系统，避免因模拟器与真实软件版本差异导致的策略失效；二、构建过程层面，合成数据需兼顾操作轨迹的因果一致性（即所有屏幕状态变化必须源于低层级鼠标/键盘事件），同时保证跨公司角色（如财务、开发、管理）的内容多样性，避免轨迹模式趋同；三、数据规模与平台覆盖的扩充需求，现有36条轨迹尚不足支撑复杂多步骤任务的泛化训练，且需增加Linux等操作系统支持以提升生态适应性。

常用场景

经典使用场景

SynthUX Economy模拟数据集为多应用图形用户界面（GUI）智能体研究提供了扎根于真实桌面环境的视觉轨迹数据。每一个记录对应一名虚拟员工在模拟公司内部的完整设备会话，包含自然语言目标、层级决策节点树、低层级鼠标键盘输入事件以及屏幕录像与帧级截图。该数据集最经典的使用场景在于训练和评估能够在多窗口、多应用（如终端、笔记、代码编辑器、浏览器、即时通讯、邮件、表格与幻灯片）间无缝协作的GUI智能体。研究者可基于密集的输入事件序列与对应的视觉观测，构建能够理解复杂指令并执行跨应用操作的计算视觉与决策模型。

解决学术问题

SynthUX Economy数据集解决了当前GUI智能体研究中多应用协同操作与大规模组织仿真数据稀缺的瓶颈问题。传统数据集往往聚焦于单应用或固定界面流程，难以反映真实企业中员工在多个桌面应用之间灵活切换、传递信息并完成复杂业务目标的动态过程。该数据集通过模拟六家不同公司的经济系统，提供了跨操作系统（macOS、Windows、浏览器OS）、跨消息平台的丰富轨迹，使得研究者能够探索智能体在多任务中断、应用间资源共享和长序依赖决策等挑战性学术问题上的表现。其因果观测设计（仅通过低层级输入改变状态）为研究智能体行动与环境反馈的因果关联提供了可靠基础。

衍生相关工作

SynthUX Economy数据集的出现催生了一系列相关研究工作的进展。其一，基于该数据集的密集输入事件序列，研究者开发了“动作-观测”对齐模型，用于自动将低层级鼠标键盘操作映射到高层语义目标，从而提升智能体的可解释性。其二，利用其多公司、多角色的组织架构信息，衍生出组织级决策迁移学习的工作，探索在不同公司之间共享操作知识的方法。其三，该数据集的因果观测特性启发了反事实推理在GUI智能体中的应用，研究者尝试通过改变前序输入事件来预测不同操作链的后果，以增强智能体的鲁棒性。这些衍生工作共同拓宽了计算机使用智能体领域的理论边界与方法工具箱。