jacob-valdez/synthux-economy-r5-w006

SynthUX计算机使用数据集（经济模拟r5）是一个基于模拟公司环境的计算机使用轨迹数据集。每个记录代表一个工作者在模拟公司内的设备会话：目标扩展为节点树，终端节点通过低级别鼠标/键盘输入驱动真实桌面模拟器应用（包括Terminal、Notes、VS Code、Browser、Slack/Teams、Mail、Sheets、Slides等），观察到的轨迹被记录为屏幕视频和每节点帧。该数据集支持应用原生多应用程序执行（无工作台覆盖）、每个参与者内容多样性、跨操作系统消息传递以及大型多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。数据集包含data.jsonl文件（每个渲染轨迹一条记录）、screenshots文件夹（每个终端节点的帧图像）和videos文件夹（完整屏幕录制）。记录模式包括轨迹ID、参与者信息、环境、目标、节点树、输入事件、观察结果、对齐信息和媒体引用。统计信息显示本构建包含36个轨迹、927个帧、6个公司，环境分布为browser-os（10）、macos-web-next（14）和windows-web-next（12）。数据由SynthUX工具生成，观察基于因果模拟器状态。The SynthUX Computer-Use Dataset — economy sim r5 is a dataset of grounded visual computer-use trajectories generated by SynthUX. Each record represents one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (such as Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, etc.) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. It features app-native multi-application execution (without workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repository. The dataset includes data.jsonl (one record per rendered trajectory), screenshots folder (frames per terminal node), and videos folder (full screen recordings). The record schema covers fields like trajectory_id, actor information, environment, goal, tree nodes, input events, observations, alignment, and media references. Statistics for this build indicate 36 trajectories, 927 frames, 6 companies, with environment distribution: browser-os (10), macos-web-next (14), and windows-web-next (12). It is generated using SynthUX, with observations being causal based on low-level input.

搜集汇总

数据集介绍

构建方式

该数据集由SynthUX系统生成，模拟多公司经济环境下的计算机使用轨迹。每条记录对应一位员工在模拟公司内的设备会话：自然语言目标被展开为节点树，终端节点通过底层鼠标/键盘输入驱动真实的桌面模拟器应用（如终端、笔记、代码编辑器、浏览器、通讯软件、邮件、表格、幻灯片等），并将观测到的轨迹录制为屏幕视频及逐节点帧。每个经济模拟均作为独立的数据集仓库发布，本数据集采用无工作台覆盖的应用原生多应用执行模式，保证了交互的真实性。

特点

数据集包含36条轨迹、927帧画面及36个视频，覆盖6家模拟公司。轨迹分布在三种模拟环境（浏览器OS、macOS、Windows）中，展现了跨操作系统消息传递、多角色内容多样性及大型多公司经济生态。每条记录提供密集的底层输入事件时间序列、因果模拟器状态、以及观测与节点ID的对齐信息，为多应用协同的GUI代理研究提供了细粒度的结构化数据支撑。

使用方法

数据以JSONL格式存储于`data.jsonl`文件中，每条记录包含轨迹ID、参与者信息、目标描述、节点树、输入事件及观测状态等字段。对应帧图像按`<trajectory>/<node_id>.png`路径存放于`screenshots`目录，全屏录像为`videos/<trajectory>.webm`格式文件。研究者可通过轨迹ID关联文本与多媒体数据，用于GUI代理的训练、评估或行为分析，尤其适合多应用协作场景下的意图理解与动作预测任务。

背景与挑战

背景概述

SynthUX Economy r5 W006 数据集由 SynthUX 研究团队于近期构建，旨在推动图形用户界面（GUI）代理在模拟企业环境中的自主操作能力研究。该数据集聚焦于跨操作系统、多应用协同的计算机使用场景，通过模拟包含六家公司的经济体系，生成了36条完整的操作轨迹，覆盖终端、代码编辑器、浏览器、办公套件等真实桌面应用程序。其核心研究问题在于如何通过低层级鼠标键盘事件构建可泛化的GUI代理行为模型，为后续多智能体协作、企业流程自动化等领域提供了高保真、可复现的基准测试环境。数据集采用Apache-2.0许可开放，有望成为GUI代理领域继MiniWob、AndroidEnv之后的又一重要评估资源。

当前挑战

该数据集面临的主要挑战体现在两个层面。在领域问题层面，GUI代理需要应对界面布局的动态变化、跨平台操作差异（macOS/Windows/浏览器）、以及多应用状态同步等复杂场景，而现有方法多局限于单一应用或固定环境。在数据构建层面，模拟企业经济体系需要保证每个虚拟员工的操作内容具有语义多样性，同时避免生成轨迹中因应用间消息传递导致的状态冲突。此外，低层级事件序列与高层级任务目标之间的对齐标注依赖人工规则，36条轨迹的规模尚不足以覆盖长尾操作模式，如何通过合成数据扩展其泛化边界仍是后续研究的难点。

常用场景

经典使用场景

SynthUX Economy R5 W006 数据集专为多应用、多组织的图形用户界面（GUI）代理研究而设计，其核心使用场景在于提供一种高保真、低层级交互的计算机使用轨迹数据。研究人员可借助该数据集，探索在模拟公司经济环境中，单个工作者如何通过鼠标、键盘等基础操作在终端、浏览器、邮件、办公套件等多个桌面应用之间切换，以实现给定的自然语言目标。该数据集以其多公司、多操作系统的全景式设计，成为评估和训练GUI代理在复杂现实任务中规划与执行能力的经典基准。

解决学术问题

该数据集有效解决了当前GUI代理研究中面临的三大学术挑战：一是缺乏跨应用、跨组织的长时域任务轨迹数据，导致模型难以泛化；二是现有数据集多为高层级动作标注，缺少从像素输入到低层级事件的因果对齐，制约了对代理推理过程的深入分析；三是模拟环境与真实桌面环境之间的保真度差距。SynthUX通过提供包含完整屏幕视频、逐节点帧图以及密集输入事件序列的因果轨迹数据，使研究者能够重构代理的每一步决策，从而推动可解释、可控制的GUI代理模型的发展，并为多任务学习与迁移学习提供了可靠的数据支撑。

衍生相关工作

SynthUX Economy R5 W006 数据集的发布催生了一系列衍生研究，主要包括基于因果推理的GUI策略学习、多模态动作定位模型，以及面向跨平台桌面任务的分层规划方法。其中，部分工作利用该数据集中的因果对齐信息，设计出能够从屏幕视频中自动发现动作瓶颈的算法；另一些研究则围绕多公司员工角色的交互模式，提出了模拟经济学情境下的协作式代理框架。这些衍生工作不仅丰富了面向复杂人机交互环境的机器学习模型库，也推动了GUI自主操作从单一应用到多应用、从单用户到多用户场景的范式演进。