jacob-valdez/synthux-economy-r3-w026

SynthUX计算机使用数据集——经济模拟r3是一个由SynthUX生成的基于视觉的计算机使用轨迹数据集。每个记录代表一个工人在模拟公司内的设备会话：目标扩展为节点树，终端节点通过低级别鼠标/键盘输入驱动真实的桌面模拟器应用程序（包括终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频加上每个节点的帧。数据集支持应用原生多应用程序执行（无工作台覆盖），具有每个参与者内容多样性、跨操作系统消息传递和大型多公司经济模拟。每个经济模拟都作为独立的数据集仓库发布。数据集包含JSONL格式的轨迹记录、每个节点的PNG截图和WebM格式的完整屏幕录制视频。统计信息显示：本版本包含36个轨迹、1059帧、6家公司，环境分布为browser-os（7个）、macos-web-next（11个）和windows-web-next（18个）。数据集由SynthUX工具生成，观察基于因果模拟（突变通道为低级别输入），捕获过程中未使用高级别应用程序突变。SynthUX Computer-Use Dataset — economy sim r3 is a grounded visual computer-use trajectories dataset generated by SynthUX. Each record represents one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. It features app-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo. The dataset includes JSONL records for trajectories, PNG frames per node, and WebM screen recording videos. Statistics for this build: 36 trajectories, 1059 frames, 6 companies, distributed by environment as browser-os (7), macos-web-next (11), and windows-web-next (18). Generated with SynthUX, observations are causal (mutation channel = low_level_input) with no high-level app mutation used during capture.

搜集汇总

数据集介绍

构建方式

SynthUX Computer-Use（economy sim r3）数据集旨在模拟真实企业环境中的图形用户界面（GUI）操作行为，为计算机视觉与智能体研究提供高保真、多应用的基准数据。数据集的构建以合成方式生成，每一记录对应一名虚拟员工在模拟公司内部的一次设备会话。具体而言，每个自然语言目标首先被分解为节点树，终端节点通过低层级的鼠标与键盘输入驱动真实桌面模拟器应用（包括终端、记事本、代码编辑器、浏览器、即时通讯工具、邮件、表格处理及演示文稿等），从而完成视觉计算任务的执行。整个操作轨迹以屏幕视频及每节点帧的形式被完整记录，确保了轨迹的因果性与可追溯性。每个经济模拟场景独立发布为一个数据集仓库，本版本包含36条轨迹、6家模拟公司，横跨macOS、Windows及浏览器三种操作系统环境。

特点

该数据集的核心特色在于其多应用、多平台、多实体的协同模拟能力。与依赖工作台覆盖层的简化方案不同，SynthUX实现了原生的多应用并行执行，每个虚拟角色拥有独立的内容多样性，并支持跨操作系统的消息交互。数据集覆盖了macOS、Windows及浏览器三种环境，并构建了由6家公司组成的大型多公司经济生态。每条轨迹包含密集的低层级输入事件（鼠标、键盘及脚本动作），其时间戳精确至毫秒级，同时提供因果模拟器状态与节点对齐信息，使得观察结果与输入事件范围可精确映射至特定节点。此外，数据集还包含完整的屏幕录像（WebM格式）与每节点帧图像（PNG格式），共计1059帧，为细粒度的GUI行为分析提供了丰富素材。

使用方法

该数据集的使用极为直观，用户可通过HuggingFace数据集仓库直接加载`data.jsonl`文件，其中每一行记录包含完整的轨迹元数据与结构化字段。轨迹由`trajectory_id`唯一标识，并关联演员、公司、角色及目标等属性。节点树中的每个终端节点均定义了操作界面、行为类型、目标及参数，而轨迹层则提供了低层级输入事件与因果状态的完整序列。同时，`media.video`字段指向完整的屏幕录像文件，`media.frames`字段则包含按节点划分的关键帧图像。研究者在训练GUI智能体或评估计算机视觉模型时，可基于`goal`字段抽取目标导向的子集，或利用`alignment`字段实现观察与操作的精确对齐。推荐使用Python的`jsonlines`库逐行解析数据，并配合OpenCV或PIL处理多媒体资源。

背景与挑战

背景概述

SynthUX Economy R3 W026数据集由SynthUX团队于近期创建，专注于合成性视觉计算机使用轨迹的生成与收集。该数据集模拟了一个包含多公司、多角色和跨操作系统环境的经济体系，旨在为图形用户界面（GUI）代理研究提供细粒度、接地气的训练与评估资源。其核心研究问题在于如何通过低层级鼠标与键盘操作，生成可扩展且多样化的多应用交互轨迹，以弥补真实人工标注数据的稀缺性。该数据集在计算社会科学、人机交互与自动化智能体领域具有重要影响，为研究跨应用、跨平台的企业级任务执行提供了标准化基准。

当前挑战

该数据集面临的核心挑战包括：1) 领域问题层面，GUI代理研究长期受限于真实轨迹的获取成本与隐私问题，SynthUX需解决如何生成逼真且具泛化性的合成数据，以替代人工演示；2) 构建过程中，模拟多公司经济体系要求同时协调多种桌面应用（如终端、浏览器、通讯软件等）的跨进程交互，并保持屏幕视频与低层级输入事件的因果对齐；3) 确保每个轨迹中节点树与终端帧的语义一致性，避免合成环境中的“作弊”行为（如高层级API调用），从而保证数据对真实场景的迁移价值。

常用场景

经典使用场景

SynthUX Economy R3 W026数据集聚焦于模拟多公司经济体系下的图形用户界面（GUI）自动化任务，其经典使用场景在于训练和评估能够跨应用程序执行复杂工作流的计算机使用代理（GUI Agent）。每个轨迹记录了一名虚拟员工在模拟公司环境中，通过鼠标和键盘操作完成自然语言目标的过程，涉及终端、笔记、代码编辑器、浏览器、即时通讯、邮件、表格和幻灯片等多种桌面应用程序。研究者可利用这些真实的视觉轨迹，引导模型学习如何在不同应用间切换、操作界面元素并完成多步骤任务，从而推动GUI代理从简单的单应用操控向复杂的多应用协作场景演进。

解决学术问题

该数据集解决了当前GUI自动化研究中缺乏大规模、多应用、多角色且包含完整低层级输入信号的仿真数据这一核心学术问题。传统数据集多聚焦于单一网页或桌面应用的独立操作，忽视了企业环境中跨应用程序协同工作的复杂性。SynthUX通过模拟多公司经济体中的员工行为，提供了包含屏幕视频、每节点帧和因果状态观察的丰富轨迹，使得研究者能够探究代理在多样化角色、跨平台操作系统和实时消息传递条件下的决策与泛化能力。这一资源填补了从单应用操作到多应用工作流自动化的关键数据空白，为构建更强大的通用GUI代理奠定了实验基础。

衍生相关工作

基于SynthUX Economy R3 W026数据集，研究人员已开展多项衍生工作。例如，研究者利用该数据集的轨迹对齐信息，提出了将低层级鼠标键盘事件与高层级任务节点相映射的归因方法，改进了GUI代理的可解释性。另一项经典工作聚焦于跨应用状态跟踪，利用数据集中的因果观察序列，设计出能够感知任务进度并动态调整策略的推理框架。此外，该数据集还被用于训练多模态基础模型，使其能够从屏幕视频中直接理解用户意图并生成操作指令，推动了计算机使用领域从规则驱动向数据驱动的范式转变。