jacob-valdez/synthux-economy-r5-w026

SynthUX计算机使用数据集是一个基于视觉的计算机使用轨迹数据集，由SynthUX生成，模拟公司内部员工设备会话。每个记录代表一个工人在模拟公司中的设备会话：目标扩展为节点树，终端节点通过低级鼠标/键盘输入驱动真实桌面模拟器应用（包括Terminal、Notes、VS Code、浏览器、Slack/Teams、邮件、Sheets、Slides等），观察到的轨迹被记录为屏幕视频和每节点帧。数据集支持应用原生多应用执行（无工作台覆盖）、每参与者内容多样性、跨操作系统消息传递和大规模多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。The SynthUX Computer-Use Dataset is a grounded visual computer-use trajectories dataset generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. It features app-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo.

搜集汇总

数据集介绍

构建方式

SynthUX-Economy-R5-W026数据集的构建依托于先进的合成轨迹生成框架SynthUX，旨在模拟真实企业环境中的多应用计算机使用行为。每个记录对应一个虚拟员工在模拟公司内的一次设备会话：系统首先将自然语言目标分解为节点树，终端节点通过低层级的鼠标与键盘操作驱动桌面模拟器应用（包括终端、笔记、代码编辑器、浏览器、即时通讯工具、邮件、电子表格与演示文稿等），从而生成完整的操作轨迹。整个执行过程采用应用原生多应用模式，摒弃工作台覆盖层，确保轨迹的真实性与低层级性。最终，每条轨迹被记录为屏幕视频与逐节点帧图像，并以JSON Lines格式存储于data.jsonl文件中，辅以截图与视频资源。

使用方法

使用该数据集时，研究者可直接解析data.jsonl文件中的每条轨迹记录，通过trajectory_id、actor_id与company等字段筛选特定员工或公司的操作序列。对于细粒度分析，可依据tree.nodes字段展开终端节点的动作参数，或结合trajectory.input_events中的低层级事件进行时序建模。视觉数据方面，videos目录下的WebM格式屏幕录像适用于端到端行为识别任务，而screenshots目录中按节点分帧的PNG图像则支持关键帧级别的场景理解。建议采用轨迹与帧的映射关系（即trajectory.alignment字段）对齐观察状态与输入事件范围，以构建完整的监督学习样本。数据集的Apache-2.0许可允许广泛的研究与商业使用。

背景与挑战

背景概述

SynthUX Computer-Use (economy sim) 数据集诞生于2025年，由SynthUX团队创建，旨在为计算机使用（computer-use）领域的图形用户界面（GUI）智能体研究提供高质量的合成训练与评估数据。该数据集通过模拟多公司、跨操作系统的企业经济环境，生成了36条完整的桌面操作轨迹，涵盖macOS、Windows及浏览器原生界面。每一条轨迹都记录了工人在模拟公司内完成自然语言目标的过程，包括从目标分解为节点树、终端节点驱动真实桌面应用（如终端、VS Code、Slack、电子表格等）的低级鼠标键盘操作，以及最终生成的屏幕视频和逐帧快照。该数据集的核心研究问题是：如何构建并评估能够在真实复杂多应用场景中自主操作的GUI智能体。其创新性在于提供了原生多应用执行环境（而非工作台叠加层）和跨操作系统的交互数据，填补了现有智能体基准测试在生态真实性与任务多样性上的空白，对推动GUI智能体从概念验证迈向实际部署具有重要影响。

当前挑战

SynthUX数据集所解决的领域问题核心在于：现有的GUI智能体数据集多局限于单一应用或孤立界面，缺乏对跨应用、跨操作系统、多角色协同的真实经济场景的模拟能力，导致智能体难以在现实复杂工作流中稳健执行。该数据集通过构建包含6家公司、36条轨迹、1081帧画面及完整低级输入事件的多应用经济模拟环境，直接挑战了这一局限性。在构建过程中，主要挑战包括：一是生成高保真、因果一致的合成轨迹，需确保操作序列在低层次输入事件（如鼠标点击、键盘输入）与高层目标之间建立可靠映射；二是设计跨平台（macOS、Windows、浏览器）且无工作台叠加的原生交互环境，要求模拟器准确支持多种桌面应用（如Slack、电子表格、浏览器）的实际接口与状态变化；三是保障数据多样性，通过差异化角色、公司结构及跨操作系统消息传递，避免智能体在单一模式上过拟合，从而提升其在现实部署时的泛化能力。

常用场景

经典使用场景

SynthUX Economy模拟数据集是面向计算机使用（Computer-Use）领域的高质量合成轨迹数据集，特别聚焦于多应用协同与多公司经济模拟场景。其经典使用场景在于为GUI代理（GUI Agents）提供真实且可扩展的训练与评估环境。每条轨迹记录了一名员工在模拟公司中的完整设备会话，涵盖从自然语言目标分解为节点树、再到通过低层级鼠标与键盘操作驱动终端、笔记、浏览器、邮件、办公套件等多应用程序的完整交互过程。该数据集的单次模拟包含36条轨迹、超过千帧画面，覆盖macOS和Windows等多操作系统环境，为研究多应用跨平台GUI代理的规划、执行与适应能力提供了坚实的数据基础。

解决学术问题

该数据集有效解决了当前GUI代理研究领域中几个关键学术难题。首先，它提供了细粒度、帧级对齐的观察数据与输入事件序列，使得研究者能够深入探究代理在复杂多步骤任务中的因果推理与状态追踪能力，弥补了现有数据集在低层级行为记录上的不足。其次，通过引入多公司、多角色的组织结构以及跨应用通信场景，数据集突破了传统单一应用或孤立任务的研究局限，推动了对代理在协作与组织环境中决策行为的理解。此外，合成数据的高可控性与多样性为研究代理的泛化能力、鲁棒性以及对未见场景的适应性提供了理想平台，对推动从任务驱动到环境嵌入的智能体研究范式具有重要学术意义。

实际应用

在实际应用层面，SynthUX Economy数据集为训练企业级自动化助手与数字员工系统提供了核心支撑。企业可以基于该数据集开发的GUI代理，实现跨邮箱、聊天工具、代码编辑器与演示软件的复杂业务流程自动化，例如员工入职流程处理、跨部门预算审批、多系统数据同步等。此外，该数据集模拟了真实组织中的角色分工与权限边界，为开发能够理解企业语境、遵循操作规范且适应不同操作系统环境的智能助手奠定了技术基础。金融、制造、科技等行业的运营部门可借助此类代理减少重复性操作，提升工作效率，同时降低因人工操作引发的错误风险。

数据集最近研究

最新研究方向

在图形用户界面智能体领域，SynthUX经济模拟数据集揭示了多应用协同操作与跨组织经济行为的合成轨迹研究前沿。该数据集通过模拟公司内员工在真实桌面环境（如终端、浏览器、邮件等）中执行自然语言目标的完整流程，记录了底层鼠标/键盘事件与屏幕视频的因果对齐数据。当前热点聚焦于构建可泛化的计算机使用智能体，其核心挑战在于从稀疏的视觉观察中学习跨应用的操作语义与多步决策逻辑。该数据集的发布为训练GUI智能体提供了大规模、细粒度的行为模仿数据，推动金融模拟、企业自动化等场景下的人机协作研究，其多公司经济生态的颠覆性在于首次将个体操作与组织级行为轨迹耦合，为探索AI在复杂工作流中的自主性与鲁棒性开辟了新范式。