jacob-valdez/synthux-economy-r5-w059

SynthUX计算机使用数据集 — 经济模拟r5是一个基于SynthUX生成的视觉计算机使用轨迹数据集。每个记录代表一个工作者在模拟公司内的设备会话：目标扩展为节点树，终端节点通过低级鼠标/键盘输入驱动真实桌面模拟器应用（包括终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频和每个节点的帧。该数据集支持应用原生多应用程序执行（无工作台覆盖）、每参与者内容多样性、跨操作系统消息传递和大规模多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。SynthUX Computer-Use Dataset — economy sim r5 is a grounded visual computer-use trajectories generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. It features app-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo.

搜集汇总

数据集介绍

构建方式

本数据集聚焦于计算机使用（computer-use）场景下的图形用户界面（GUI）智能体行为轨迹记录，特别面向模拟企业环境中的多应用协同操作。数据集的构建依托SynthUX框架，通过模拟公司内部员工的设备会话生成。每个会话中，一个自然语言目标被分解为层级化的节点树，终端节点驱动真实的桌面模拟应用（如终端、笔记、代码编辑器、浏览器、即时通讯工具、邮件、电子表格、演示文稿等），以低层级的鼠标与键盘输入执行操作。完整的操作轨迹被录制为屏幕视频，并为每个终端节点截取关键帧图像。所有数据均基于因果模拟生成，仅通过低层级输入通道操作，不涉及高层应用级变异，确保了数据的真实性与可追溯性。

特点

该数据集具有三大突出特征：首先，它支持应用原生的多应用联合执行，无需借助工作台覆盖层，真实反映了跨应用协作的复杂性；其次，每个参与者的内容具有多样性，且实现了跨操作系统的消息交互，覆盖了macOS、Windows及纯浏览器环境；最后，数据集依托大规模多公司经济模拟体系，每个经济模拟实例作为独立的数据集仓库发布，从而构建出丰富且结构化的企业级交互场景。当前版本包含36条轨迹、993帧图像、6家模拟公司，其中Windows环境占比最高（17条），macOS次之（10条），浏览器环境9条，体现了环境分布的多样性。

使用方法

数据集以Hugging Face仓库形式发布，用户可通过标准数据加载工具直接使用。主要数据文件为`data.jsonl`，每行记录一条完整的轨迹，包含轨迹ID、参与者信息、公司角色、模拟环境、原始目标、节点树结构、密集的低层级输入事件序列（含时间戳）、因果模拟状态快照以及事件与节点的对齐关系。此外，`screenshots/`目录按轨迹分组存放各节点的PNG帧图像，`videos/`目录提供完整的屏幕录制视频（WebM格式）。研究者可直接解析JSONL文件获取结构化元数据，并结合图像与视频进行视觉理解模型的训练与评估，适用于GUI智能体行为分析、多应用任务规划及跨平台交互建模等研究方向。

背景与挑战

背景概述

SynthUX Computer-Use (economy sim) 数据集构建于2024年，由SynthUX研究团队开发，专注于模拟多应用、多操作系统环境下的计算机使用轨迹。该数据集旨在解决图形用户界面（GUI）代理研究中的数据稀缺问题，通过生成包含低层级鼠标/键盘操作的屏幕视频和逐节点帧的轨迹记录，覆盖了终端、笔记、代码编辑器、浏览器、即时通讯、邮件、电子表格等多种应用场景。其核心创新在于构建了多公司经济模拟体系，支持跨操作系统（macOS、Windows、浏览器）的代理行为记录，为理解人机交互中的任务分解与动作序列分析提供了首个大规模、多应用的合成轨迹基准，显著推动了GUI代理领域从单应用到多任务、从模拟到现实的过渡研究。

当前挑战

该数据集面临的核心挑战包括：领域层面，GUI代理研究长期受限于真实用户轨迹的隐私、低效与不可复现性，而合成数据需解决与真实人类操作模式间的语义鸿沟，例如动作层级（低层鼠标移动 vs. 高层应用API调用）、上下文依赖（跨应用状态同步）和失败恢复机制等复杂决策过程的真实模拟。构建层面，多公司经济模拟引入了可扩展的冲突管理难题——需平衡32个不同角色在6家公司内的并发操作（如共享文档编辑冲突）、协调跨OS输入管道（macOS、Windows、浏览器三套鼠标键盘事件标准化），并确保每帧屏幕截图的因果一致性（仅通过低层输入驱动状态变化，避免高层注入导致的伪相关），这些对数据生成管道的保真度与计算效率构成严苛挑战。

常用场景

经典使用场景

在自主化图形用户界面代理（GUI Agent）的研究领域，SynthUX经济模拟数据集（synthux-economy-r5-w059）提供了一个极具价值的动态多应用交互环境。该数据集的设计精妙地模拟了一家虚拟公司中多名员工在同一设备上的协作与并行操作场景，每个员工都被赋予明确的目标和职责。其经典用途在于训练和评估能够在跨应用（如终端、笔记、代码编辑器、浏览器、即时通讯、邮件、电子表格和演示文稿等）环境下，通过低层级鼠标和键盘操作完成复杂复合任务的智能代理。数据集中的每条轨迹都包含完整的屏幕录屏（webm）和逐节点帧截图（PNG），并伴有精细对齐的输入事件序列和因果观察状态，这使得研究者能够追溯代理的每一步决策与物理操作之间的映射关系，从而为构建更鲁棒、更贴近人类操作习惯的GUI代理奠定了基础。

衍生相关工作

该数据集作为SynthUX生成框架的一部分，其独特的多应用交互结构和精细的因果记录方式已经催生了一系列值得关注的衍生研究方向。未来可能涌现的经典工作包括：基于该数据集的‘跨应用任务分解与执行’基准测试，用于评估代理从高层目标（如‘准备季度财务报告’）自动分解为跨应用子步骤并有序执行的能力；利用其低层级事件进行‘界面操作原语学习’的模型，旨在从鼠标点击序列中提炼出可复用的操作模板（如‘复制-粘贴-保存’）；以及围绕其多角色、多公司结构开展的‘组织行为模拟与策略迁移’研究，探索代理如何适应不同企业的协作文化与沟通协议。这些衍生工作不仅会丰富GUI代理领域的方法论工具箱，更可能将自主操作能力的评估从屏幕截图匹配推向对意图、策略与因果关系的综合理解，塑造下一阶段的研究议程。

数据集最近研究

最新研究方向

该数据集聚焦于图形用户界面（GUI）智能体的多应用协同操作领域，通过模拟企业内多角色、跨平台的桌面计算机使用场景，生成包含完整输入事件链与屏幕记录的合成轨迹数据。当前前沿研究正致力于利用此类数据集训练具备跨应用任务编排能力的视觉语言模型，以推动自动化办公、企业级数字员工等热点应用的发展。synthux-economy-r5-w059通过构建多公司经济模拟环境，为研究智能体在真实复杂工作流中的感知、决策与执行能力提供了可靠基准，其细粒度的节点树与对齐标注显著提升了模型对长序列操作的泛化能力，对实现通用计算机智能体具有里程碑式的意义。