jacob-valdez/synthux-economy-r5-w083

SynthUX计算机使用数据集（经济模拟r5）是一个基于视觉的计算机使用轨迹数据集，由SynthUX生成。每条记录代表一个模拟公司内员工的设备会话：目标扩展为节点树，终端节点通过低级鼠标/键盘输入驱动真实的桌面模拟应用程序（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频和每个节点的帧。该数据集支持应用原生的多应用程序执行（无工作台覆盖）、每个参与者的内容多样性、跨操作系统消息传递以及大规模多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。内容包括：data.jsonl（每个渲染轨迹的记录）、screenshots/（每个轨迹和节点的PNG帧，在节点最后一个输入事件时捕获）和videos/（完整的屏幕录制视频）。记录模式包括轨迹ID、参与者信息、环境、目标、节点树、输入事件、观察结果、对齐和媒体引用。此构建版本包含5个轨迹、5个视频、126个帧、4个公司，环境为browser-os。数据生成使用SynthUX（synthux.multicompany.day.v1），观察结果是因果的（突变通道为低级输入），捕获过程中未使用高级应用程序突变。SynthUX Computer-Use Dataset — economy sim r5 is a grounded visual computer-use trajectories dataset generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. It features app-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo. Contents include data.jsonl (one record per rendered trajectory), screenshots/ (PNG frames per terminal node taken at that nodes last input event), and videos/ (full screen recording). Record schema covers trajectory_id, actor/company/role/title info, env, goal, tree.nodes, trajectory.input_events, trajectory.observations, trajectory.alignment, and media references. This build has 5 trajectories, 5 videos, 126 frames, 4 companies, all in browser-os env. Generated with SynthUX (synthux.multicompany.day.v1); observations are causal (mutation channel = low_level_input) with no high-level app mutation used during capture.

搜集汇总

数据集介绍

构建方式

本数据集源于SynthUX框架生成的接地视觉计算机使用轨迹，旨在模拟公司环境中多员工设备会话的复杂交互。每条记录对应一名工作者在模拟企业内的设备操作过程：自然语言目标被拆解为层次化的节点树，终端节点通过低层级的鼠标与键盘输入驱动真实的桌面模拟应用程序（如终端、笔记、代码编辑器、浏览器、即时通讯软件、邮件、表格处理及演示文稿等）。整个操作轨迹以屏幕视频及每节点快照的形式被完整捕获。构建时采用因果观察机制，仅依赖低层级输入作为变异通道，未使用任何高层级的应用突变，确保了轨迹数据的真实性与可复现性。

特点

该数据集的核心特点在于其原生多应用执行环境，摒弃了工作台叠加层的干扰，实现了跨操作系统消息传递与多公司经济体系的大规模模拟。每条轨迹均包含丰富的结构化字段：从参与者身份、组织归属到自然语言目标；终端节点的表面操作、动作类型与参数；密集的低层级输入事件序列及其时间戳；以及因果模拟状态与节点ID的对齐关系。本次构建共产出36条轨迹，涵盖1252帧图像与6家模拟公司，并覆盖macOS、Windows及浏览器三种操作系统环境，展现出极高的内容多样性与生态完整性。

使用方法

数据集以标准格式存储，便于研究者直接加载与使用。核心文件为`data.jsonl`，每条JSON行记录一条渲染轨迹的全部元数据与事件序列。屏幕截图按`trajectory_id`与`node_id`组织于`screenshots/`目录下，每节点对应一张PNG帧。完整的屏幕录制视频以WebM格式存放于`videos/`目录中。用户可通过解析JSONL文件获取轨迹ID、目标、输入事件及对齐信息，并结合图像与视频数据开展多模态GUI代理研究、跨应用流程分析或人机交互建模等工作。

背景与挑战

背景概述

SynthUX Economy R5 W083 数据集由 SynthUX 团队于近期发布，旨在模拟多应用、多公司的桌面计算环境，以生成高保真的图形用户界面（GUI）操作轨迹。该数据集的核心研究问题在于填补现有 GUI 代理研究中对复杂、多应用交互场景的缺失，通过构建模拟经济体系，让每个参与者（actor）在虚拟公司内执行自然语言目标，系统则记录其底层鼠标、键盘操作及屏幕视频。该数据集包含 36 条轨迹、1252 帧图像和来自 6 家公司的三种操作系统环境（macOS、Windows、浏览器），其影响力体现在为计算机使用代理（computer-use agent）研究提供了可扩展、可复现的合成数据基准，推动了从单一应用到跨应用场景的迁移学习与评估。

当前挑战

该数据集主要解决两大领域挑战：一是当前 GUI 代理研究多局限于单一应用或固定工作流，缺乏对多应用协同、多任务切换和异构操作系统间通信的建模能力，SynthUX 通过模拟经济体系实现了跨应用、跨平台的轨迹生成。二是构建过程中的挑战，包括确保合成轨迹的因果一致性（仅依赖底层输入作为观察突变通道，避免高层 API 介入），维护多公司经济模拟中参与者的角色多样性与内容独特性，以及解决不同操作系统（macOS、Windows、浏览器）间渲染差异与输入映射对齐问题。此外，数据集的规模（36条轨迹）仍有限，未来需扩展以适应更广泛的企业场景和更长流程的代理任务。

常用场景

经典使用场景

在图形用户界面（GUI）智能代理研究领域，SynthUX Economy模拟数据集（synthux-economy-r5-w083）提供了一种高度结构化的多应用协作环境。该数据集被设计用于训练和评估具备计算机操作能力的智能体，其核心使用场景是让代理在模拟公司中执行自然语言描述的目标，通过底层鼠标和键盘输入驱动终端、浏览器、邮件、即时通讯、办公套件等真实桌面应用程序，并记录完整的屏幕操作轨迹。每条轨迹以‘目标-节点树-终端操作’的层级结构呈现，包含密集的低级输入事件与因果观察状态，为研究端到端的GUI任务规划、多步骤推理和人机交互模拟提供了标准化的训练与测试基准。

衍生相关工作

围绕SynthUX Economy模拟数据集展开的经典衍生工作主要集中于三个方向：一是多模态GUI代理的预训练范式研究，利用数据集中的视频-事件二元组设计统一的视觉-动作表示学习框架；二是因果推理在计算机操作中的应用，研究者通过分析数据集提供的因果观察状态与低级输入事件对应关系，探索如何利用环境状态变化来指导代理的决策过程；三是多公司模拟环境下的迁移学习与泛化能力评估，利用数据集包含6个不同公司结构的特性，研究代理在不同组织结构、角色权限和任务类型间的零样本或小样本泛化表现。这些工作共同推动了GUI智能代理从规则驱动向数据驱动、从单一环境向跨域通用的演进。

数据集最近研究

最新研究方向

SynthUX Computer-Use经济模拟数据集聚焦于多应用协同的桌面图形用户界面智能体研究，通过模拟企业内部多角色、跨平台的工作流轨迹，为构建能理解复杂业务逻辑的计算机使用代理提供了高质量训练数据。该数据集支持macOS、Windows及浏览器操作系统，结合终端、办公套件、即时通讯等原生应用的鼠标键盘交互记录，推动了多步骤任务执行、跨应用状态跟踪与因果观察对齐等前沿方向。其模拟多公司经济生态的设计，使得研究可深入探讨智能体在真实商业环境中的决策鲁棒性与泛化能力，对自动化办公、企业IT运维及人机协作等领域具有重要基准意义。