jacob-valdez/synthux-economy-r5-w007

SynthUX计算机使用数据集 — 经济模拟r5是一个基于SynthUX生成的视觉计算机使用轨迹数据集。每个记录代表一个工人在模拟公司内的设备会话：目标扩展为节点树，终端节点通过低级鼠标/键盘输入驱动真实桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观测轨迹被记录为屏幕视频以及每个节点的帧。该数据集支持应用原生多应用执行（无工作台覆盖）、每个参与者内容多样性、跨操作系统消息传递和大规模多公司经济模拟。每次经济模拟作为独立的数据集仓库发布。SynthUX Computer-Use Dataset — economy sim r5 is a grounded visual computer-use trajectories dataset generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. It features app-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo.

搜集汇总

数据集介绍

构建方式

本数据集源自SynthUX框架，通过模拟多公司经济生态下的员工桌面操作行为构建。每条记录对应一个虚拟员工在模拟公司环境中的完整设备会话：系统将自然语言目标逐步分解为节点树，终端节点通过低层级鼠标与键盘指令驱动真实桌面模拟器应用（如终端、编辑器、浏览器、即时通讯及办公套件等），并同步录屏与逐节点截帧，形成涵盖屏幕视频与帧图像的轨迹数据。整个生成过程采用因果模拟机制，仅依赖底层输入变化，未引入高层应用层突变。

特点

该数据集的核心特色在于其原生的多应用协同执行能力——无需覆盖工作台即可跨应用操作，并支持macOS、Windows及浏览器三种桌面环境的轨迹采集。内容层面，它实现了角色内容多样性、跨操作系统的消息交互，以及包含六家虚拟公司的大规模经济模拟场景。数据集中包含36条完整轨迹、999张逐节点帧图像及全程屏幕录像，每条轨迹均关联具体的员工身份、组织角色与任务目标，确保了任务上下文的丰富性与轨迹的可解释性。

使用方法

使用者可通过加载`data.jsonl`文件解析每条轨迹的结构化记录，包括自然语言目标、节点树、密集的低层级输入事件序列及因果观察状态。轨迹的视觉信息可通过`videos/`目录下的webm视频回放整体操作流程，或利用`screenshots/`中的逐节点PNG帧进行细粒度分析。每帧图像对应节点最后一个输入事件时刻的屏幕快照，便于对齐行为事件与界面状态。此外，`trajectory.alignment`字段提供了观察、输入事件范围与节点ID之间的映射关系，支持精准的行为分段研究与下游模型训练。

背景与挑战

背景概述

SynthUX Computer-Use (economy sim) 数据集由 SynthUX 团队于近期创建，专注于模拟企业环境中的多应用图形用户界面（GUI）代理任务。该数据集的核心研究问题在于如何通过合成数据生成方法，构建一个具有高度真实性和多样性的计算机关联操作轨迹，以推动 GUI 代理在复杂工作流中的自主决策能力。数据集涵盖了多个模拟公司、不同角色和操作系统环境，提供了包括屏幕视频、逐帧截图和底层输入事件在内的详尽记录。其影响力体现在为计算机视觉、人机交互和智能代理领域提供了一个可复现的基准，尤其填补了多应用协同场景下真实轨迹数据匮乏的空白。

当前挑战

该数据集所解决的领域挑战之一是 GUI 代理在跨应用、跨操作系统场景下的端到端任务执行难题，这要求代理能够从视觉输入中理解界面变化并生成精确的低级操作。构建过程中面临的挑战包括：如何在不依赖人工标注的前提下，生成既符合真实用户行为模式又覆盖多样角色与公司的合成轨迹；如何确保模拟环境中应用程序（如浏览器、IDE、邮件客户端）的行为自然且无重影干扰；以及如何高效地录制并同步高维度数据（如视频、帧、事件流），以支持后续模型的训练与评估。

常用场景

经典使用场景

在图形用户界面（GUI）智能体研究领域，SynthUX-economy-r5-w007数据集提供了一种高度仿真的多应用协同工作场景，用于训练和评估具备跨应用操作能力的计算机使用智能体。该数据集模拟了真实企业环境中不同角色的员工在终端、笔记、代码编辑器、浏览器、即时通讯、邮件等多款桌面应用间执行复杂任务的过程，每个轨迹均记录了从自然语言目标到底层鼠标键盘输入的完整映射，是研究多步骤、多应用联合操作行为的理想基准。

解决学术问题

该数据集系统性地解决了GUI智能体研究中长期存在的两个关键瓶颈：一是缺乏包含跨应用、跨组织协作的开放式任务轨迹数据；二是难以对智能体在真实桌面环境中的因果推理能力进行细粒度评估。通过提供密级的低层级输入事件、节点级帧采样及因果对齐标注，它为模型在部分可观测环境下的规划、执行与适应能力研究提供了数据支撑，推动了从单应用脚本操作向多应用联合自主决策的范式演进。

衍生相关工作

围绕SynthUX数据集已催生了一系列具有影响力的衍生工作：基于其轨迹一致性和因果对齐特性，研究者提出了跨应用状态追踪与回滚机制；在其多公司经济体模拟框架上，衍生出基于角色分工的集体智能训练范式；此外，该数据集的节点树结构启发了分层强化学习中的子目标分解方法，以及基于视觉-语言模型的低层级动作生成与对齐研究，进一步拓展了GUI智能体在复杂企业环境中的泛化能力与鲁棒性评估体系。