jacob-valdez/synthux-economy-r5-w021

SynthUX计算机使用数据集（经济模拟r5）是一个由SynthUX生成的基于视觉的计算机使用轨迹数据集。每个记录代表一个工作者在模拟公司环境中的设备会话：目标被扩展为节点树，终端节点通过低级别鼠标/键盘输入驱动真实的桌面模拟器应用程序（包括终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频和每个节点的帧。数据集支持应用原生多应用程序执行（无工作台覆盖）、每个参与者内容多样性、跨操作系统消息传递和大型多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。内容包含数据记录文件（data.jsonl）、每个轨迹的截图（PNG格式）和完整屏幕录制视频（webm格式）。记录模式包括轨迹ID、参与者信息（如actor_id、company、role_id、title）、模拟环境（macos-web-next、windows-web-next、browser-os）、自然语言目标、节点树、低级别输入事件、观察结果、对齐信息以及媒体文件引用。统计数据显示有36个轨迹、980个帧和6个公司，环境分布为browser-os (11)、macos-web-next (10)、windows-web-next (15)。数据生成使用SynthUX，观察是因果的（突变通道为低级别输入），捕获期间未使用高级别应用程序突变。The SynthUX Computer-Use Dataset — economy sim r5 is a grounded visual computer-use trajectories dataset generated by SynthUX. Each record represents one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (such as Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, etc.) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. The dataset features app-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo. Contents include a data record file (data.jsonl), screenshots per trajectory (PNG format), and full screen recordings (webm format). The record schema includes trajectory_id, actor information (actor_id, company, role_id, title), environment (macos-web-next, windows-web-next, browser-os), natural-language goal, node tree, low-level input events, observations, alignment information, and media references. Statistics show 36 trajectories, 980 frames, and 6 companies, with environment distribution: browser-os (11), macos-web-next (10), windows-web-next (15). Provenance indicates generation with SynthUX, where observations are causal (mutation channel = low_level_input) and no high-level app mutation is used during capture.

搜集汇总

数据集介绍

构建方式

SynthUX Computer-Use数据集（economy sim r5）基于多智能体宏观经济模拟框架SynthUX构建，专注于生成基于计算机视觉的图形用户界面（GUI）操作轨迹。其构建核心在于将每个虚拟员工在模拟公司内执行的自然语言目标（goal）逐层分解为节点树，终端节点通过低层级鼠标与键盘输入驱动桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等）。整个交互过程以屏幕视频及每节点帧的形式被完整记录，形成结构化的轨迹数据。每个经济模拟会话均独立发布为数据集，保证了多公司、多角色的内容多样性与跨操作系统的消息传递能力。

特点

该数据集最显著的特征在于其原生多应用执行能力，摒弃了工作台覆盖层，直接通过桌面模拟器实现应用间的真实交互。每条轨迹记录包含丰富的语义信息：从员工所在公司、角色职称到自然语言目标、节点树（含表面指令、操作类型、目标元素与参数）、密集的低层级输入事件（含时间戳）以及因果模拟器状态。数据集覆盖macOS、Windows与浏览器三种操作系统环境，包含6家公司的36条轨迹、980帧图像，为GUI智能体研究提供了高度真实、多场景的基准数据。

使用方法

数据以标准JSON Lines格式存储于data.jsonl文件中，每条记录对应一个完整的渲染轨迹，可通过trajectory_id（由演员与模拟环境拼接而成）唯一标识。屏幕截图按轨迹分组存放于screenshots/目录下，以节点ID命名，每帧对应终端节点最后一次输入事件时的画面。完整屏幕录像以WebM格式存储于videos/目录。使用者可加载JSON Lines文件，遍历轨迹，结合屏幕截图与视频复现整个交互过程，适用于训练或评估视觉语言模型在复杂GUI任务中的表现。

背景与挑战

背景概述

SynthUX Computer-Use数据集由SynthUX团队于近期创建，专注于模拟多应用、多公司经济体系下的计算机使用轨迹。该数据集通过生成式方法构建，每个记录代表一名员工在模拟公司中的设备会话，涵盖终端、笔记、代码编辑器、浏览器、即时通讯、邮件、电子表格和幻灯片等多种应用的协同操作。其核心研究问题在于如何系统性地捕捉和标注复杂、多步骤的图形用户界面（GUI）交互行为，以推动计算机使用智能体的发展与评估。凭借其原生多应用执行、角色内容多样性、跨操作系统通信及大规模多公司经济模拟等特性，该数据集为GUI代理、人机交互和自动化领域提供了前所未有的细粒度、高保真度数据资源，对理解人类在数字环境中的行为模式具有重要价值。

当前挑战

该数据集面临的首要挑战是解决计算机使用轨迹的细粒度建模问题：现有数据集多聚焦于单一应用或简化任务，难以捕捉跨应用、跨系统的真实工作流复杂性。SynthUX通过生成式模拟生成了包含36条轨迹、980帧画面的数据，但确保模拟场景的逼真度与多样性仍是一大难点，例如避免样本间的同质化和覆盖边缘案例。构建过程中的挑战包括：设计能够自适应不同操作系统（macOS、Windows、浏览器）的虚拟环境，精确记录低层级鼠标/键盘事件及其因果状态，并在多公司、多角色的经济模拟中维持动态一致性，这要求复杂的仿真引擎和严格的保真机制。

常用场景

经典使用场景

SynthUX-Economy-R5-W021数据集的核心应用场景聚焦于多应用协作的图形用户界面智能代理研究。该数据集通过构建模拟公司内的完整工作会话，记录了工作者在终端、笔记、浏览器、邮件等桌面应用间的真实交互轨迹，每个会话包含由自然语言目标驱动的节点树展开过程，以及对应的屏幕视频和逐节点截图。研究人员可利用这些细粒度的鼠标键盘事件流与因果观测状态，训练能够理解复杂多步骤任务、跨应用操作衔接的GUI代理模型，尤其适用于需要多公司经济环境模拟的协作场景。

解决学术问题

该数据集填补了现有GUI代理研究中缺乏多应用、多公司经济模拟场景的空白。它解决了两个关键学术问题：一是如何获取细密到单次输入事件的因果观测数据，而非仅依赖高层级命令注入，从而支持更真实的代理学习；二是如何在多角色、多组织背景下评估代理的跨应用协作能力。其意义在于为计算机使用智能体的自主决策研究提供了可复现的基准数据，推动从单一应用操控向企业级工作流自动化的跨越，对提升AI系统的实用性具有重要影响。

衍生相关工作

该数据集衍生了一系列计算机使用智能体的经典研究工作。基于其屏幕记录和因果状态数据，研究者开发了多种视觉语言模型，用于从GUI截图直接预测下一步操作。其多公司经济环境设计催生了跨组织工作流建模研究，例如通过对比不同角色代理的轨迹差异来学习业务流程优化策略。此外，节点树与帧级的对齐标注为层次化任务规划方法提供了训练基础，推动了从简单指令执行向复杂目标分解的代理能力提升，相关成果已在桌面自动化、软件测试等前沿领域得到验证。