jacob-valdez/synthux-economy-r4-w009

SynthUX计算机使用数据集——经济模拟r4版本，包含由SynthUX生成的基于视觉的计算机使用轨迹。每个记录代表一个模拟公司内一个工作者的设备会话：目标扩展为节点树，终端节点通过低级别鼠标/键盘输入驱动真实的桌面模拟器应用程序（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频加上每个节点的帧。该数据集支持应用原生多应用程序执行（无工作台覆盖）、每个参与者内容多样性、跨操作系统消息传递以及大型多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。SynthUX Computer-Use Dataset — economy sim r4. Grounded visual computer-use trajectories generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. App-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo.

搜集汇总

数据集介绍

构建方式

SynthUX-Economy-R4-W009数据集由SynthUX框架生成，专注于模拟企业环境中的图形用户界面（GUI）代理行为。在每个记录中，一名虚拟工作者在模拟公司内执行设备会话：系统将一个自然语言目标扩展为节点树，终端节点通过底层鼠标与键盘输入驱动真实的桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），从而记录下完整的操作轨迹。每个轨迹以屏幕视频及每个终端节点的帧图像形式保存，数据发布为独立的JSONL文件，并附带截图与视频目录。经济模拟系统支持多应用原生执行、跨角色内容多样性、跨操作系统消息传递及大型多公司经济体，此版本涵盖6家公司的36条轨迹。

特点

该数据集的核心特色在于其多应用原生执行架构，摒弃了工作台覆盖层，实现了应用级别的精准交互。每个轨迹包含密集的底层输入事件（鼠标、键盘、脚本）及时间戳，同时提供因果模拟器状态与节点对齐信息，确保观察到的轨迹与输入事件之间的因果关系清晰可溯。数据集跨越三种模拟环境（浏览器OS、macOS Web Next、Windows Web Next），并包含1192帧图像与36个视频，展现了丰富的跨平台与跨应用操作场景。多公司经济体的引入进一步提升了数据的生态多样性与现实模拟度，为GUI代理研究提供了高度逼真的训练与评估基准。

使用方法

数据集以数据科学标准格式组织，主文件为data.jsonl，每条记录代表一个渲染轨迹，包含轨迹ID、角色信息、目标、节点树、输入事件序列、观察状态、对齐链接及媒体文件引用。用户可通过解析JSONL文件加载轨迹数据，并结合screenshots/目录下的PNG帧与videos/目录下的WebM视频进行多模态分析。建议将轨迹中的输入事件与观察状态用于训练GUI代理的模仿学习或强化学习模型，而对齐信息则便于将底层操作映射到高层任务节点。数据集兼容常见Python工具链（如Pandas、OpenCV），适合在计算机使用代理、人机交互建模及多应用自动化领域的研究中直接使用。

背景与挑战

背景概述

SynthUX Computer-Use 数据集（economy sim r4）由 SynthUX 项目团队于近期创建，专注于生成基于图形用户界面（GUI）的计算机操作轨迹。该数据集的核心研究问题在于模拟多应用协同环境下的真实桌面操作，通过将自然语言目标分解为节点树，驱动终端节点在模拟器（如终端、VS Code、浏览器、邮件客户端等）中执行低层鼠标和键盘输入，并记录完整的屏幕视频与逐节点帧。其影响力体现在为 GUI 代理、多应用交互、以及企业级操作模拟研究提供了高保真、因果一致的基准数据。通过覆盖 6 家虚拟公司、36 条轨迹及跨操作系统环境（macOS、Windows、浏览器），该数据集填补了从单应用到多应用、从孤立操作到组织级操作的研究空白。

当前挑战

该数据集面临多重挑战。在领域问题层面，它需解决传统 GUI 代理数据集缺乏多应用协同与跨平台一致性表示的难题，例如如何模拟 Slack、邮件、电子表格等应用间的自然切换与数据流动。在构建过程中，挑战包括：1) 确保每条轨迹的因果一致性，即观测状态仅由低层输入事件（而非高层 API）驱动，避免模拟失真；2) 在 6 家公司的角色与目标多样性下，生成 36 条高保真轨迹需平衡内容覆盖与计算成本；3) 跨操作系统（如 macOS 与 Windows）的输入事件差异需统一抽象层，以保证轨迹的可迁移性。此外，每轨迹 33 帧的采样密度对存储与标注精度提出额外要求。

常用场景

经典使用场景

SynthUX Economy R4 W009数据集专为多应用协同的图形用户界面智能体（GUI Agent）研究而设计。其经典使用场景是在模拟的企业环境内，通过记录员工在终端、代码编辑器、浏览器、即时通讯、邮件、电子表格和幻灯片等桌面应用程序上的完整操作轨迹，为训练和评估能够跨应用执行复杂任务（如撰写报告、协调会议、处理财务数据）的自主智能体提供高保真、多模态的行为数据。每一条轨迹都包含自然语言目标、底层鼠标键盘事件序列以及屏幕视频和关键帧，使得研究者可以直接使用其监督信号进行模仿学习或通过环境反馈进行强化学习。

解决学术问题

该数据集直面当前GUI智能体研究中的两个核心障碍：一是缺乏包含多应用、跨组织协作的复杂工作流数据；二是缺乏与底层操作系统事件因果对齐的细粒度标注。通过提供来自6家模拟公司、36条完整设备会话的低层级输入输出记录，SynthUX数据集有效解决了传统数据集任务单一、环境封闭、标注粒度粗糙的问题。它为研究者提供了一个可以系统探究智能体在多步骤、多应用、多角色交互场景下泛化能力的基准平台，推动了从单一界面操作到真正‘计算机使用’能力评估的范式转变，对理解智能体执行长期目标规划与因果推理具有重要意义。

衍生相关工作

围绕SynthUX数据集，研究社区已衍生出多项关键工作。在方法论层面，该数据促成了从传统静态数据标注向动态因果对齐标注的转变，启发了基于节点树和底层事件流的轨迹表示学习方法。在模型层面，研究者基于此数据提出了多应用上下文记忆压缩机制和跨平台动作空间统一映射策略，有效提升了智能体在异质操作系统间的迁移能力。在评测体系方面，该数据集的内涵经济模拟框架催生了一系列评估指标，用于衡量智能体在长时间跨度的多步任务中的成功率、资源利用率和错误恢复能力，这些工作共同推动了GUI智能体从学术原型向生产级系统的演进。