jacob-valdez/synthux-economy-r5-w058

SynthUX计算机使用数据集——经济模拟r5，包含由SynthUX生成的基于视觉的计算机使用轨迹。每个记录代表一个模拟公司内工人的设备会话：一个目标扩展为节点树，终端节点通过低级鼠标/键盘输入驱动真实的桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频和每节点帧。该数据集支持应用原生多应用执行（无工作台覆盖）、每参与者内容多样性、跨操作系统消息传递和大规模多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。SynthUX Computer-Use Dataset — economy sim r5. Grounded visual computer-use trajectories generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. App-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo.

搜集汇总

数据集介绍

构建方式

SynthUX-Economy-R5-W058 数据集源自 SynthUX 生成框架，旨在模拟多公司经济体系中的 GUI 智能体计算机使用轨迹。每个记录对应一名员工在模拟公司内的设备会话：一个自然语言目标被展开为节点树，终端节点通过低层级鼠标与键盘操作驱动真实桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），完整轨迹以屏幕视频及逐节点帧图像形式被捕获。构建过程强调原生多应用执行（无工作台覆盖）、每角色内容多样性、跨操作系统消息传递及大规模多公司经济模拟，并严格遵循因果观测原则，即仅通过低层级输入通道记录状态变化，避免高层应用突变。

特点

该数据集以多公司经济模拟为独特背景，涵盖 6 家公司、36 条轨迹及 840 帧图像，横跨三种操作系统环境（macOS Web Next、Windows Web Next、Browser OS）。每条轨迹包含详尽的输入事件序列（鼠标、键盘、脚本事件及时间戳）、因果模拟器状态快照，以及将观测与输入事件范围链接到节点 ID 的对齐信息。数据以 JSONL 格式存储，附有全屏幕录制视频（WebM）和逐节点 PNG 帧图像，确保了轨迹的视觉与行为完整性。这种原生应用级的多应用执行与内容多样性设计，使其在 GUI 智能体研究中具备高度真实性与可复现性。

使用方法

数据集可通过 Hugging Face Datasets 库加载，使用 `load_dataset("synthux-economy-r5-w058")` 命令即可获取。加载后，每条记录包含 `trajectory_id`、`actor_id`、`goal`、`tree.nodes`、`trajectory.input_events`、`media.video` 等字段，用户可直接访问结构化日志与媒体文件。适用于训练和评估基于视觉的 GUI 智能体模型，支持检索历史执行轨迹、分析多步骤操作序列、验证环境泛化能力等任务。推荐将数据拆分为训练与验证集，结合屏幕截图与事件流进行端到端学习或行为克隆实验。

背景与挑战

背景概述

SynthUX Computer-Use (economy sim) 数据集诞生于2025年，由SynthUX团队开发，专注于多应用桌面环境下的计算机操作轨迹研究。该数据集的核心研究问题在于探索如何通过合成数据生成逼真的用户界面（GUI）操作序列，以支持GUI代理的训练与评估。通过模拟一个包含多家公司、多种角色（如员工、管理员）的虚拟经济系统，数据集记录了36条完整的设备会话轨迹，涵盖了终端、代码编辑器、浏览器、邮件、即时通讯等六种主流应用环境。这一设计在计算机视觉与人类行为建模的交叉领域具有开创性意义，为构建能够理解并执行跨应用任务的智能体提供了高保真度的训练基准，显著推动了自主桌面操作代理的发展。

当前挑战

该数据集所解决的领域挑战在于，传统GUI代理训练依赖人类演示或简化模拟，难以覆盖多应用协作、跨平台通信及经济系统内的复杂决策场景。SynthUX通过生成包含多元角色、动态经济关系的合成轨迹，克服了真实数据获取成本高、隐私风险大的难题。构建过程中，其主要挑战包括：如何协调macOS、Windows及浏览器三种操作系统的底层输入（鼠标/键盘事件）以实现一致的行为生成；如何确保虚拟经济系统中不同公司、角色的操作逻辑自洽且内容多样化；以及如何以低层级输入作为唯一变异通道，避免高层应用干扰，从而保证轨迹的因果一致性与可复现性。

常用场景

经典使用场景

SynthUX Economy R5 W058 数据集专为多应用桌面 GUI 智能体研究而设计，其核心使用场景在于模拟企业环境中员工通过低层级鼠标与键盘操作完成复杂跨应用工作流的过程。每个轨迹记录均源自一个模拟公司内员工设备的完整会话，目标被逐步分解为节点树，终端节点驱动真实桌面应用（如终端、笔记、代码编辑器、浏览器、即时通讯、邮件、办公套件等），并同步捕获屏幕视频与逐节点帧图像。该数据集尤其适用于训练和评估能够理解多步骤、多应用协同任务的自主 GUI 代理，为细粒度人机交互研究提供了高质量的基准。

实际应用

在实际应用层面，该数据集为构建企业级自动化助手提供了可复现的训练素材。例如，可基于这些轨迹训练能够跨应用完成数据同步、报告生成、跨平台消息转发等办公任务的数字员工，直接提升业务流程效率。此外，数据集中的多公司、多角色（员工、经理等）模拟内容，有助于开发具有角色感知和上下文理解能力的智能代理，使其在真实企业 IT 环境中安全地完成票据处理、信息检索或系统配置等操作，降低人工干预成本。

衍生相关工作

SynthUX 数据集衍生了一系列重要的学术与工程探索工作。其生成的细粒度轨迹数据已被用于优化基于课程学习的动作空间建模方法，以及探索通过多应用节点树预测来提升代理任务规划的准确性。此外，研究人员利用该数据集的异构系统记录（macOS、Windows、浏览器）验证了跨平台 GUI 模型迁移的可行性，并以此为基准开发了融合视觉与事件流的双模态状态表征网络。这些工作共同拓展了交互式智能体在现实桌面生态中的适应边界与应用潜能。