jacob-valdez/synthux-economy-r4-w034

SynthUX计算机使用数据集是一个基于视觉的计算机使用轨迹数据集，由SynthUX生成。每个记录代表一个模拟公司内员工设备会话的轨迹：目标扩展为节点树，终端节点通过低级鼠标/键盘输入驱动真实桌面模拟器应用程序（包括终端、笔记、VS Code、浏览器、Slack/Teams、邮件、Sheets、Slides等），观察到的轨迹被记录为屏幕视频和每个节点的帧。数据集支持应用原生的多应用程序执行（无工作台覆盖），每个参与者的内容多样性，跨操作系统消息传递，以及大型多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。内容包括：data.jsonl（每个渲染轨迹一条记录）、screenshots/（每个终端节点的帧，在节点最后一个输入事件时捕获）和videos/（完整屏幕录制）。记录模式包括轨迹ID、参与者ID、公司、角色、环境、目标、节点树、输入事件、观察结果、对齐信息和媒体文件。本构建包含36个轨迹、926帧、6家公司，按环境分布：browser-os（16个）、macos-web-next（11个）、windows-web-next（9个）。数据集由SynthUX生成，观察结果是因果的（突变通道为低级输入），在捕获过程中未使用高级应用程序突变。The SynthUX Computer-Use Dataset is a collection of grounded visual computer-use trajectories generated by SynthUX. Each record represents one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator applications (such as Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, etc.) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. The dataset features app-native multi-application execution (without a workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repository. Contents include: data.jsonl (one record per rendered trajectory), screenshots/ (a frame per terminal node, taken at that nodes last input event), and videos/ (the full screen recording). The record schema includes fields like trajectory_id, actor_id, company, role_id, title, env, goal, tree.nodes, trajectory.input_events, trajectory.observations, trajectory.alignment, media.video, and media.frames. Statistics for this build: 36 trajectories, 926 frames, 6 companies, distributed by environment: browser-os (16), macos-web-next (11), windows-web-next (9). Provenance: Generated with SynthUX, with observations being causal (mutation channel = low_level_input); no high-level app mutation is used during capture.

搜集汇总

数据集介绍

构建方式

该数据集由SynthUX框架生成，专注于模拟公司环境中的计算机使用轨迹。每个记录对应一名员工在模拟公司内的设备会话，通过将自然语言目标扩展为节点树，终端节点驱动桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等）执行低层级鼠标/键盘操作，最终将观察到的轨迹记录为屏幕视频和逐节点帧图像。数据构建采用原生多应用执行方式，无工作台覆盖层，且经济模拟覆盖多个公司，支持跨操作系统消息通信。

特点

数据集包含36条轨迹、926帧图像和6个公司环境，覆盖macOS、Windows和浏览器三种操作系统模拟器。每条轨迹详细记录了包括参与者身份、公司、角色、目标、节点树、密集输入事件（含时间戳）、因果模拟器状态以及输入事件与节点的对齐关系。特别之处在于数据集的因果性：所有观察结果均通过低层级输入突变通道生成，无高级应用突变干预，确保了轨迹的真实性和可复现性。

使用方法

数据集以JSONL格式存储，每行对应一条轨迹记录，包含轨迹ID、参与者信息、目标、节点树、输入事件序列、观察状态、对齐关系以及媒体文件引用。用户可通过遍历`data.jsonl`文件读取轨迹数据，结合`screenshots`目录下的逐节点PNG帧和`videos`目录下的完整屏幕录制WebM视频进行可视化分析。适用于训练和评估GUI代理模型，特别是需要理解多应用协同操作和跨平台行为的场景。

背景与挑战

背景概述

SynthUX Computer-Use (economy sim) 数据集由 SynthUX 团队于近期创建，专注于生成模拟公司环境中多应用桌面操作的视觉计算机使用轨迹。该数据集的核心研究问题在于如何通过合成数据驱动图形用户界面（GUI）代理的自主操作，以解决真实场景中跨应用、跨操作系统协同任务的复杂性。其影响力体现在为多代理经济模拟和 GUI 智能体研究提供了高保真、接地气的训练与评估基准，尤其填补了大规模多公司、多角色协作场景下合成轨迹数据的空白。通过模拟 6 个公司的 36 条轨迹，该数据集推动了计算机使用任务从单一应用到多应用、从单代理到多代理的范式演进。

当前挑战

该数据集面临的挑战是多维度的。首先，所解决的领域问题是 GUI 代理在真实桌面环境中执行复杂多应用任务时的鲁棒性与泛化性不足，尤其是跨应用数据流动（如从浏览器到表格）和跨操作系统兼容性（macOS/Windows）带来的动态交互困难。其次，构建过程中需克服高保真模拟与数据多样性的矛盾：既要确保轨迹视频与操作事件的因果一致性（通过低层输入事件捕捉），又要避免叠加覆盖（workbench overlay）以保持应用原生状态的真实性。此外，跨公司、多角色的内容生成需避免模板化，以保障轨迹的统计多样性，而每节点帧与事件的时间对齐则对数据质量控制提出了更高要求。

常用场景

经典使用场景

SynthUX Economy R4 W034数据集的核心使用场景在于赋能计算机使用（computer-use）领域的多模态智能体研究。该数据集提供了在模拟企业环境中生成的高保真、低层级交互轨迹，涵盖终端、笔记、代码编辑器、浏览器、即时通讯、邮件、表格与幻灯片等多种桌面应用的原生操作。研究者可借助其中的屏幕录像、逐帧截屏以及密集的鼠标键盘事件序列，训练和评估能够理解自然语言目标并逐步执行复杂跨应用任务的视觉语言智能体。尤其适用于模拟真实办公情境下的多应用协作与长程任务规划，为构建从观察到执行的闭环智能系统提供了标准化的测试床。

解决学术问题

该数据集有效解决了计算机使用智能体研究中长期存在的两大难题：轨迹数据的真实性与任务复杂度的可控性。传统数据集或局限于单应用仿真环境，缺乏跨应用交互的生态完整性，或采用人工标注导致成本高昂且规模受限。SynthUX Economy R4 W034通过因果驱动的多公司经济仿真引擎，在保留底层鼠标键盘输入细节的同时，实现了每轮轨迹中角色身份、应用组合与目标内容的自动多样化。它为研究者提供了可复现的、面向长序列多步操作的评估基准，推动了从简单的指令跟随迈向具备企业级协作理解能力的智能体范式转变，对于研究多智能体协作、决策推理以及人机交互中的意图对齐具有显著的学术价值。

衍生相关工作

围绕SynthUX Economy系列数据集已催生出多个方向的相关工作。经典衍生研究包括利用其多层级对齐信息（轨迹层、事件层与节点语义层）设计跨模态检索与溯因推理模型，以及基于帧级图像序列与文本目标的视频理解预训练任务。部分工作借鉴了其多公司、多角色属性，探索可迁移的任务泛化能力，例如在同一仿真环境的不同公司间进行零样本策略迁移。更深层的探索则聚焦于因果推断，利用数据集中严格记录的因果顺序（底层输入作为唯一突变通道）构建反事实仿真，以分析智能体行为中的关键决策点与错误归因路径。