jacob-valdez/synthux-economy-r5-w031

SynthUX计算机使用数据集 — 经济模拟r5是基于SynthUX生成的视觉计算机使用轨迹数据集。每个记录代表一个模拟公司内工人的设备会话：目标扩展为节点树，终端节点通过低级鼠标/键盘输入驱动真实桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察轨迹被记录为屏幕视频和每个节点的帧。数据集支持应用原生多应用程序执行（无工作台覆盖）、每个参与者的内容多样性、跨操作系统消息传递以及大规模多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。SynthUX Computer-Use Dataset — economy sim r5 consists of grounded visual computer-use trajectories generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. It features app-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo.

搜集汇总

数据集介绍

构建方式

在数字办公生态日益复杂的当下，该数据集通过模拟真实企业环境中的多应用协作场景而构建。其核心机制在于将每个工作者的自然语言目标递归展开为节点树，终端节点驱动桌面仿真器中的原生应用（如终端、编辑器、浏览器、即时通讯与办公套件等），通过底层鼠标与键盘操作生成完整的操作轨迹。每条轨迹对应一名受雇于模拟公司的工作者在一次设备会话中的行为记录，涵盖从目标分解到低阶输入事件的全过程，并同步采集屏幕视频与逐节点截图。整个生成过程由SynthUX框架在因果观察模式下执行，确保所有状态变化均源自真实的低层级输入，而非高层应用接口的模拟。

特点

该数据集的核心特色在于其高度逼真且多层次的计算机使用行为建模。首先，它支持跨操作系统环境（macOS、Windows与纯浏览器系统）的执行，并实现了应用原生的多任务协同——即不使用工作台覆盖层，各应用均为真实桌面程序。其次，数据集包含多公司经济模拟的宏观结构，每条轨迹都带有明确的组织与角色信息（如公司、岗位、头衔），保证了内容多样性与跨组织消息交互的逼真性。此外，每条轨迹都提供了密集的低阶事件序列（含毫秒级时间戳）、因果状态快照以及事件到节点的对齐映射，为细粒度的GUI智能体研究提供了宝贵的数据资源。

使用方法

该数据集适用于训练与评估计算机操作智能体（GUI Agent），使用方法灵活多样。用户可直接加载`data.jsonl`文件，按`trajectory_id`提取完整轨迹，结合`screenshots/`目录下的逐节点截图和`videos/`目录中的屏幕录像进行多模态学习。每条记录中的`tree.nodes`字段提供了终端节点的高层语义（界面、动作、目标与参数），而`trajectory.input_events`则包含了可用于行为克隆的密集低阶事件序列。研究人员可通过`trajectory.alignment`字段建立输入事件范围与节点ID的对应关系，从而在高层任务规划与底层操作执行之间搭建桥梁，支持从端到端模仿学习到因果推理等多样化的研究范式。

背景与挑战

背景概述

SynthUX-economy-r5-w031数据集由SynthUX团队于2024年构建，聚焦于多应用协同的图形用户界面（GUI）智能体研究。该数据集通过模拟多公司经济环境，生成了36条涵盖6家虚拟企业、涉及终端、代码编辑器、浏览器、即时通讯、办公套件等跨平台应用的桌面交互轨迹，每条轨迹均包含屏幕视频、逐节点截图及底层鼠标键盘事件序列。其核心研究问题在于为GUI智能体提供真实、因果可控的多应用协作基准，推动计算机使用自动化从单任务向复杂经济系统跃迁。该数据集以Apache-2.0许可开源，为多智能体经济模拟、跨操作系统人机交互等方向提供了标准化实验场，显著降低了合成数据与真实场景的领域差距。

当前挑战

该数据集面临的挑战包括：1）领域问题层面，现有GUI智能体多聚焦单应用或简单任务序列，缺乏对跨应用、多角色协同经济场景的建模能力，而现实企业运营中业务流常横跨浏览器、邮件、协作平台等异构环境，且需处理内容多样性及跨操作系统消息同步；2）构建过程中，需确保每条轨迹的因果关系严格成立——仅通过底层输入事件（鼠标/键盘）驱动应用状态变化，避免高层API干预以保持生态效度，同时需在有限轨迹数（36条）与多公司（6家）的模拟中平衡内容多样性，防止生成数据陷入模式化，这对仿真器的随机化策略和节点树规划算法提出了极高要求。

常用场景

经典使用场景

SynthUX Economy R5 W031数据集专为多应用协同的图形用户界面智能体研究而设计，其核心使用场景在于模拟公司内部员工在多种桌面应用程序（如终端、笔记、浏览器、邮件、即时通讯、电子表格和演示文稿）之间执行复杂跨应用任务的全过程。研究者可借助该数据集中的屏幕录制视频、逐节点截图及鼠标键盘事件序列，训练和评估能够理解自然语言目标并自主完成多步骤图形界面操作的智能体模型。该数据集提供了完整的因果轨迹对齐信息，使得从底层输入事件到高层任务目标的映射关系清晰可追溯，为构建具备跨应用语境理解能力的数字助手奠定了坚实的数据基础。

实际应用

在实际应用中，SynthUX Economy R5 W031数据集为开发能够自主操作企业级软件套件的数字员工平台提供了核心训练材料。基于该数据集训练的模型可部署于自动化办公流程、客户服务系统、数据分析报告生成等场景，例如让智能体自动完成从邮件中提取数据、在电子表格中计算、将结果导入演示文稿并最终通过即时通讯发送报告的全链路操作。数据集涵盖的macOS、Windows及浏览器多环境轨迹，使得训练出的智能体能够适应不同操作系统的界面差异，从而显著提升办公自动化的落地可行性和跨平台迁移能力。

衍生相关工作

基于该数据集已衍生出若干标志性研究工作，包括开发能够从低级别鼠标键盘事件中抽象出高层操作意图的神经符号模型，以及将视觉界面理解与行动计划生成相结合的端到端架构。代表性成果如提出因果对齐学习框架的研究，利用该数据集中的完整轨迹标注来训练能够从失败操作中自我修正的智能体，另一项工作则基于多公司模拟环境验证了跨组织任务迁移学习的有效性。这些衍生工作不仅证明了数据集在推动计算机使用智能体领域理论进展中的核心地位，也为后续研究提供了可重复性验证的黄金标准范式。