jacob-valdez/synthux-economy-r5-w005

SynthUX计算机使用数据集—经济模拟r5是一个基于视觉的计算机使用轨迹数据集，由SynthUX生成。每个记录代表一个模拟公司内工人的设备会话：目标扩展为节点树，终端节点通过低级鼠标/键盘输入驱动真实桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、Sheets、Slides等），观测轨迹记录为屏幕视频和每个节点的帧。该数据集支持应用原生多应用执行（无工作台覆盖）、每个参与者内容多样性、跨操作系统消息传递和大规模多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。数据内容包括JSONL文件（每个渲染轨迹一条记录）、截图（每个轨迹的每个终端节点帧）和视频（完整屏幕录制）。记录模式包括轨迹ID、参与者信息、环境、自然语言目标、节点树、输入事件、观测值、对齐和媒体文件。统计信息显示有36个轨迹、945帧、6个公司，环境分布为browser-os（11个）、macos-web-next（9个）和windows-web-next（16个）。数据来源为SynthUX生成，观测值是因果性的，使用低级输入。SynthUX Computer-Use Dataset — economy sim r5 is a dataset of grounded visual computer-use trajectories generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. It features app-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo. Contents include data.jsonl (one record per rendered trajectory), screenshots (a frame per terminal node), and videos (full screen recording). The record schema includes trajectory_id, actor information, environment, goal, tree nodes, input events, observations, alignment, and media files. Stats for this build show 36 trajectories, 945 frames, 6 companies, with environment distribution: browser-os (11), macos-web-next (9), windows-web-next (16). Provenance indicates generation with SynthUX, with causal observations using low-level input.

搜集汇总

数据集介绍

构建方式

SynthUX-Economy-R5-W005数据集源自SynthUX框架，旨在生成基于视觉的计算机使用轨迹。其构建方式独特：每个记录模拟一位员工在虚拟公司内的设备会话。一个自然语言目标被扩展为节点树，终端节点通过低级鼠标与键盘输入驱动真实的桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），从而记录下完整的交互轨迹。每个轨迹以屏幕视频及每个节点对应的帧图像形式保存，确保了数据的高保真度与细粒度。

特点

该数据集的核心特点在于其原生多应用执行环境，摒弃了工作台覆盖层，实现了跨操作系统的消息传递与大规模多公司经济模拟。每个经济模拟作为独立的数据集仓库发布，内容多样性由演员（actor）身份动态生成。本次构建包含36条轨迹，涉及6家公司，跨越三种操作系统环境（浏览器OS、macOS Web Next、Windows Web Next），共计945帧图像，充分体现了真实世界多应用场景的复杂性与多样性。

使用方法

数据集以标准格式发布，便于研究者直接使用。主文件data.jsonl每行对应一条轨迹的详细记录，包含轨迹ID、演员与公司信息、目标描述、节点树、低级事件序列及因果模拟状态。媒体文件按轨迹分类存储，screenshots目录下为每张终端节点的PNG帧，videos目录下为全屏录制的WebM视频。用户可通过加载JSONL文件快速访问结构化数据，并配合图像与视频进行视觉语言模型或GUI代理的训练与评估。

背景与挑战

背景概述

随着图形用户界面（GUI）智能体的快速发展，如何构建真实、可控且跨应用的计算机使用轨迹数据集成为该领域的关键瓶颈。SynthUX Economy数据集由多机构研究人员于2025年创建，旨在通过合成模拟企业内多角色员工的真实桌面操作流程，生成包含屏幕视频、低层级输入事件与节点级帧的结构化轨迹。该数据集依托SynthUX框架，在模拟公司环境中驱动终端、代码编辑器、浏览器、邮件与办公套件等多应用协作场景，每个经济模拟独立发布。其核心研究问题在于提供可重复、因果关联的视觉计算轨迹，支撑GUI智能体在任务规划、跨应用交互与长链推理方面的训练与评估。该数据集填补了大规模多应用、多主体、多操作系统的合成轨迹数据空白，对计算机使用智能体的基础研究具有重要推动意义。

当前挑战

该数据集所解决的领域挑战包括：1）传统GUI智能体数据集多依赖静态截图或高层API调用，缺乏真实桌面环境下连续、低层级的鼠标键盘操作轨迹，难以反映智能体在复杂多应用场景中的实际表现；2）现有数据集中主体与任务单一，无法模拟企业中多角色、多公司间的经济交互与内容多样性，限制了智能体对协作与多任务的理解能力。构建过程中面临的挑战包括：3）在无工作台叠加（workbench overlay）的原生桌面模拟器上，实现多应用（如Slack/Teams、邮件、表格）间的跨操作系统（macOS、Windows、浏览器）消息传递与状态同步，确保轨迹的因果一致性；4）每轮经济模拟需生成数十条包含数百帧的高质量轨迹，并在录制过程中仅依赖低层级输入事件（low_level_input）作为变异通道，避免高层应用API干扰，以保证观察数据的因果纯净性。

常用场景

经典使用场景

SynthUX Economy R5 W005 数据集为计算机视觉与图形用户界面（GUI）代理研究提供了高度仿真的多应用交互场景。每个数据记录均源自模拟公司内部员工的真实设备会话，目标被展开为节点树，终端节点通过低层级鼠标与键盘输入驱动桌面模拟器中的各类应用程序，如终端、笔记、VS Code、浏览器、即时通讯软件、邮件及办公套件等。该数据集以屏幕视频与逐节点帧图像的形式完整捕捉了操作轨迹，为训练与评估GUI代理在复杂多应用环境中的感知与规划能力奠定了坚实基础。其经典使用场景涵盖多步骤任务执行与跨应用工作流建模。

衍生相关工作

基于SynthUX Economy R5 W005数据集，研究者已衍生出多项重要工作。其中，规约解析与节点对齐技术被用于将自然语言目标自动分解为可执行的操作序列；因果状态观测机制启发了一系列面向GUI代理的记忆增强与错误诊断方法。此外，该数据集的多元内容生成策略为构建个性化仿真环境提供了新范式，推动了自适应代理训练框架的发展。在模型层面，视觉Transformer与分层强化学习模型利用该数据集的帧序列进行预训练与微调，显著提升了在未见任务与环境中的零样本迁移能力。这些衍生工作共同巩固了SynthUX系列数据集作为多应用GUI代理研究基石的地位，并持续激励着更安全、更高效的人机协同系统的探索。

数据集最近研究

最新研究方向

SynthUX Economy r5数据集聚焦于多应用、多角色的合成桌面环境，为图形用户界面代理研究提供了高保真的计算机使用轨迹。当前前沿方向在于利用该数据集训练GUI代理在复杂企业经济模拟中的跨应用协同能力，例如在虚拟公司中执行涉及终端、浏览器、办公套件等多任务的工作流。热点事件包括合成数据与因果观测的融合，通过低层级鼠标/键盘事件记录实现代理行为的可追溯性，这对提升自动化办公和数字孪生系统的鲁棒性具有里程碑意义，推动了从单一应用到多场景泛化的研究范式转变。