jacob-valdez/synthux-economy-r5-w022

SynthUX计算机使用数据集（经济模拟r5）是一个基于SynthUX生成的视觉计算机使用轨迹数据集。每个记录代表一个工人在模拟公司内的设备会话：一个目标被扩展为节点树，终端节点通过低级别鼠标/键盘输入驱动真实的桌面模拟器应用程序（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频以及每个节点的帧。该数据集支持应用原生多应用程序执行（无工作台覆盖）、每个参与者内容多样性、跨操作系统消息传递和大规模多公司经济模拟。每个经济模拟都作为独立的数据集仓库发布。SynthUX Computer-Use Dataset — economy sim r5 is a grounded visual computer-use trajectories dataset generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. It features app-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo.

搜集汇总

数据集介绍

构建方式

该数据集基于SynthUX框架生成，旨在模拟企业环境中的图形用户界面操作轨迹。每个记录对应一名员工在模拟公司内的设备会话：自然语言目标被分解为节点树，终端节点通过底层鼠标与键盘输入驱动真实的桌面模拟器应用，涵盖终端、笔记、代码编辑器、浏览器、即时通讯、邮件、表格与幻灯片等多种工具。执行过程完全基于应用原生操作，未使用工作台叠加层，确保轨迹的真实性与多样性。每条轨迹均以屏幕视频及每节点帧图像的形式被完整记录，并附带详细的因果模拟状态信息。

特点

该数据集的核心特点在于其多应用、跨操作系统的原生执行机制与内容多样性。每个经济模拟独立发布，本版本包含36条轨迹、1025帧图像及6个模拟公司，覆盖macOS、Windows及浏览器三种操作系统环境。轨迹数据不仅记录了密集的低级输入事件及其时间戳，还通过节点对齐机制将输入事件范围与观察状态相关联，支持细粒度的因果分析。此外，每条轨迹均包含角色身份、组织归属及自然语言目标等元数据，为研究多代理协作与复杂工作流提供了丰富的结构化样本。

使用方法

该数据集适用于训练与评估图形用户界面智能体，特别是需要多应用协调与跨平台操作的任务场景。使用者可直接加载`data.jsonl`文件解析轨迹记录，利用`trajectory.input_events`中的低层级鼠标键盘序列进行动作复现，或通过`trajectory.observations`中的因果状态进行环境建模。视频文件（`videos/*.webm`）可用于视觉感知模型的训练，而每节点帧图像（`screenshots/<trajectory>/<node_id>.png`）则支持关键帧分析。建议研究人员结合SynthUX框架进行数据集扩展，或将轨迹转换为标准化的智能体交互格式进行下游任务适配。

背景与挑战

背景概述

SynthUX Economy R5 W022 数据集由 SynthUX 团队于近期发布，专注于模拟多公司经济体系中的图形用户界面（GUI）代理行为。该数据集通过生成式方法创建，记录了模拟公司内工作人员的设备会话轨迹，包括目标分解为节点树、终端节点驱动桌面模拟器应用（如终端、笔记、代码编辑器、浏览器、通讯软件、表格处理等）的底层鼠标与键盘操作。其核心研究问题在于探索多应用协同执行环境下，人工代理如何通过视觉观察与底层操作实现复杂工作流。该数据集采用 Apache-2.0 许可证发布，提供了36条轨迹、1025帧图像及完整屏幕录像，覆盖6家模拟公司，涵盖macOS、Windows及浏览器操作系统，为计算机使用与GUI代理研究提供了独特的、多应用集成的基准资源，对推动自主界面操作与多任务规划领域的发展具有重要意义。

当前挑战

当前数据集面临的核心挑战包括：1) 领域问题层面，GUI代理研究需解决如何从高维视觉输入中准确理解界面状态并生成原子操作序列，尤其是在多应用动态切换与跨系统消息传递场景下，现有模型普遍缺乏对复杂企业级工作流的泛化能力。2) 构建过程中，开发者需克服模拟环境中生成真实且多样化的用户行为轨迹的困难，包括确保每个演员的角色特定内容多样性、底层输入事件与高层目标之间的因果一致性，以及避免高层面板操作掩码引入的观测偏差。此外，数据集仅有36条轨迹的有限规模，限制了训练深度模型的统计有效性，而多操作系统与多公司的异质性进一步增加了标准化评估的难度，亟需更大规模、更高保真度的模拟框架来支撑下一代自适应GUI代理的发展。

常用场景

经典使用场景

在图形用户界面代理与多应用协作领域，SynthUX Economy数据集为研究者提供了首个基于模拟企业环境的视觉计算机使用轨迹资源。该数据集记录了36个跨六家虚拟公司的完整工作会话，涵盖macOS、Windows及浏览器三大操作系统环境，每个轨迹均包含从自然语言目标到具体鼠标键盘操作的完整映射。研究者可利用其1025个终端节点帧和同步视频，训练能够理解复杂多步骤任务、跨应用协作以及上下文感知的GUI代理模型。经典应用包括多应用工作流理解、屏幕视觉语义解析、以及基于因果观测的代理决策追踪，填补了真实企业级计算机使用数据匮乏的空白。

实际应用

在实际部署场景中，该数据集直接服务于企业自动化与智能助手系统的研发。基于其多企业经济仿真背景，可开发能够跨邮件、代码编辑器、电子表格和即时通讯软件协同工作的数字员工代理，自动执行财务对账、客户报告生成和团队协作编排等常见办公任务。数据集中的跨OS交互记录尤其适用于构建兼容异构计算环境的通用GUI代理，其低层级输入事件（鼠标、键盘、脚本）的描述粒度使模型能精确复现人工操作流程，在软件测试、RPA优化和辅助技术领域展现出巨大应用潜力。

衍生相关工作

围绕SynthUX Economy数据集已衍生出一系列开创性工作。学者们基于其多公司并行轨迹开发了企业级代理的跨组织知识迁移方法，利用6家公司的异构数据训练具有泛化能力的任务执行模型。因果观测设计催生了代理决策的可解释性研究，通过链接输入事件与节点目标实现了推理过程的透明化。此外，数据集的多模态特性（视频+帧+事件流）推动了视觉语言模型在桌面环境中的微调范式，衍生出屏幕理解与自然语言指令结合的混合代理架构。这些工作共同验证了大规模合成企业数据在缩小模拟-现实鸿沟中的关键作用。