jacob-valdez/synthux-economy-r5-w034

SynthUX计算机使用数据集（经济模拟r5）是一个基于视觉的计算机使用轨迹数据集，由SynthUX生成。每个记录代表一个模拟公司内一个工作者的设备会话：目标被扩展为节点树，终端节点通过低级别鼠标/键盘输入驱动真实的桌面模拟器应用程序（包括终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频和每个节点的帧。数据集支持应用原生的多应用程序执行（无工作台覆盖）、每个参与者内容多样性、跨操作系统消息传递以及大型多公司经济模拟。每个经济模拟都作为独立的数据集仓库发布。数据集包含数据文件、屏幕截图和视频，记录模式包括轨迹ID、参与者信息、环境、目标、节点树、输入事件、观察结果、对齐信息和媒体引用。统计信息显示有36个轨迹、895帧、6个公司，环境包括browser-os、macos-web-next和windows-web-next。数据来源为SynthUX生成，观察结果是因果性的（突变通道为低级别输入），捕获过程中未使用高级别应用程序突变。SynthUX Computer-Use Dataset — economy sim r5 is a dataset of grounded visual computer-use trajectories generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. It features app-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo. The dataset includes data files, screenshots, and videos, with a record schema covering trajectory ID, actor information, environment, goal, node tree, input events, observations, alignment, and media references. Statistics show 36 trajectories, 895 frames, 6 companies, and environments including browser-os, macos-web-next, and windows-web-next. Provenance indicates generation with SynthUX, with causal observations (mutation channel = low_level_input) and no high-level app mutation during capture.

搜集汇总

数据集介绍

构建方式

本数据集基于SynthUX框架构建，旨在模拟真实企业环境中多应用协同的图形用户界面操作轨迹。每个数据记录对应一名员工在仿真公司内部的设备会话：给定一个自然语言目标后，该目标被扩展为节点树，终端节点通过底层鼠标与键盘输入驱动多个桌面模拟应用（包括终端、笔记、代码编辑器、浏览器、即时通讯工具、邮件、电子表格及演示文稿等），并完整记录整个操作过程。每个经济模拟场景均发布为独立的数据集仓库，本次发布的版本包含6家仿真企业、36条操作轨迹及895帧关键节点图像。

使用方法

数据集以标准格式发布，核心文件data.jsonl包含每条轨迹的结构化记录，可通过JSON解析直接读取。用户可根据trajectory_id、actor_id、company、env等字段筛选特定场景下的操作数据，用于训练或评估GUI代理模型的指令跟随与界面交互能力。配套的screenshots目录提供了每个终端节点的PNG帧图，videos目录存放完整的WEBM格式录屏，便于进行像素级行为重建或可视化分析。数据遵循Apache-2.0开源协议，适用于学术研究及商业应用的二次开发。

背景与挑战

背景概述

SynthUX Computer-Use（economy sim r5）数据集由SynthUX团队于2024年创建，旨在模拟企业环境中多应用协作的计算机使用轨迹。该数据集聚焦于GUI代理研究，通过构建多公司经济模拟场景，记录工人设备会话中的底层鼠标与键盘操作，涵盖终端、笔记、代码编辑器、浏览器、即时通讯、邮件及办公套件等跨平台应用。其核心研究问题在于探索如何在真实桌面模拟器上生成高保真、多步骤的视觉计算机使用轨迹，以推动AI代理在复杂人机交互中的自主决策能力。数据集采用Apache-2.0许可，通过低层输入事件因果捕获而非高层应用变异，确保了操作的真实性与可复现性。该工作对GUI代理、人机交互及多任务规划领域具有重要影响，为评估代理在动态企业环境中的鲁棒性提供了标准化基准。

当前挑战

该数据集所解决的领域核心挑战在于GUI代理在跨应用、跨操作系统（macOS、Windows、浏览器）多步骤任务中的泛化能力不足，尤其是在模拟企业经济生态中，代理需同时处理异构消息传递、内容多样性及任务冲突。构建过程中面临的主要挑战包括：1）多公司模拟中角色、目标与公司约束的动态耦合，需生成高因果一致性的轨迹数据；2）底层层级输入事件（鼠标、键盘、脚本）与高层语义目标间的精准对齐，避免因抽象层级差异导致的语义鸿沟；3）大规模多会话状态管理，确保每个工人会话的节点树、屏幕帧与视频录制的时空同步无遗漏。此外，36条轨迹虽覆盖6家公司，但样本量有限，亟待扩展以支持更复杂经济的随机性建模。

常用场景

经典使用场景

在图形用户界面（GUI）智能代理研究领域，SynthUX经济模拟数据集为多应用协同操作提供了高度仿真的训练与评估环境。该数据集记录了一个模拟公司内不同员工角色的设备操作轨迹，涵盖了终端、笔记、代码编辑器、浏览器、即时通讯、邮件、电子表格与演示文稿等多种办公应用的跨平台使用场景。研究者可利用其完整的屏幕录像、逐帧截图及细粒度的鼠标键盘事件序列，训练能够理解复杂工作流并自主执行多步骤任务的GUI代理模型，特别适用于探索跨应用任务规划与低层次动作执行的联合学习范式。

解决学术问题

该数据集有效解决了当前GUI代理研究中缺乏大规模、多公司经济生态下跨应用操作轨迹的难题。传统数据集多聚焦于单一应用或受限任务，难以反映真实企业环境中角色分工、信息流转与多工具协同的复杂性。SynthUX通过构建包含六家模拟公司、三十六个完整会话的结构化轨迹，为研究多代理协作、层次化任务分解及基于经济系统的长期规划提供了基准。其因果观测设计——仅依赖低层输入驱动状态变化——避免了高层应用抽象带来的信息泄露，使学术工作能够更严格地评估代理在真实操作环境中的泛化能力与鲁棒性。

实际应用

在实际部署中，该数据集为开发企业级数字员工助手提供了关键训练资源。基于此类轨迹训练的GUI代理可被配置为自动化办公助手，执行跨应用的日程协调、文档协作编辑、多平台信息检索与回复等重复性任务。例如，在客户服务场景中，代理可模拟员工角色，同时操作邮件系统回复查询、更新CRM记录并在通讯工具中同步状态。数据集支持Windows、macOS及浏览器三大主流环境，使得训练出的模型具备跨操作系统适配能力，显著降低了企业将AI代理集成至现有IT基础设施的门槛。

数据集最近研究

最新研究方向

在GUI智能体研究的前沿，SynthUX Economy R5 W034数据集聚焦于多公司模拟经济环境下的计算机使用轨迹生成，代表了从单一任务执行向复杂、多应用、跨组织协作场景的范式跃迁。该数据集通过自然语言目标分解为可执行的终端节点树，并在真实桌面模拟器（如终端、VS Code、Slack等）中记录低层鼠标/键盘输入与屏幕视频，实现了完全去叠加层的原生多应用执行。当前热点事件包括企业级自动化助手与数字员工生态的兴起，而此数据集恰好为训练能理解组织层级、角色分工及跨平台消息传递的GUI智能体提供了稀缺的带轨迹标注资源，其经济规模模拟特性使之成为评估模型在结构化企业仿真中泛化能力的关键基准。