jacob-valdez/synthux-economy-r1-w009

SynthUX计算机使用数据集 — 经济模拟r1：由SynthUX生成的基于视觉的计算机使用轨迹数据集。每条记录代表一个员工在模拟公司内的设备会话：目标扩展为节点树，终端节点通过低级别鼠标/键盘输入驱动真实桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察轨迹记录为屏幕视频和每节点帧。该数据集支持应用原生多应用执行（无工作台覆盖）、每参与者内容多样性、跨操作系统消息传递和大型多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。SynthUX Computer-Use Dataset — economy sim r1: Grounded visual computer-use trajectories generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. App-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo.

搜集汇总

数据集介绍

构建方式

该数据集源于SynthUX框架，通过模拟虚拟公司中的工作者设备会话生成。每个会话从自然语言目标出发，扩展为节点树，终端节点驱动真实的桌面模拟器应用（如终端、笔记、代码编辑器、浏览器、通讯工具、办公软件等）执行低层级的鼠标与键盘操作，从而记录完整的屏幕视频及节点级帧图像。整个生成过程遵循因果原则，仅通过低层输入通道进行状态变更，摒弃了高层应用突变干扰，确保了轨迹的真实性与可复现性。

特点

数据集的核心特色在于其多应用原生执行环境，摒弃了工作台覆盖层，实现了跨操作系统的消息交互与内容多样性。每个经济模拟场景涵盖多公司架构，本次发布包含6家公司、36条轨迹及1160帧图像，覆盖macOS、Windows及浏览器三种模拟环境。每条记录均包含丰富的结构化信息，如角色身份、目标描述、节点树、低层输入事件序列及因果观测状态，为计算机视觉与GUI代理研究提供了高保真、多维度的行为数据。

使用方法

数据集以标准格式组织，主文件data.jsonl存储每条轨迹的元数据与事件序列，screenshots目录按轨迹与节点ID存放PNG帧，videos目录提供完整屏幕录像webm文件。用户可通过Python读取JSONL文件，解析轨迹ID、目标、节点树及输入事件，结合对应帧图像进行模型训练或评估。特别适用于开发基于视觉的GUI代理、多应用任务规划与执行系统，以及跨平台人机交互行为分析等研究方向。

背景与挑战

背景概述

SynthUX Computer-Use (economy sim) 数据集由 SynthUX 团队于近期创建，专注于模拟企业环境中多应用图形用户界面（GUI）的计算机使用轨迹。该数据集通过合成方式生成，记录了模拟公司内员工在真实桌面应用（如终端、笔记、代码编辑器、浏览器、即时通讯工具、邮件、表格处理、演示文稿等）中的操作过程，每个会话包含一个自然语言目标及其对应的节点树、底层键盘鼠标事件、屏幕录像和逐帧截图。其核心研究问题在于构建一个高保真、多应用程序交互的基准，以支持 GUI 代理（GUI agents）在复杂任务中的学习与评估。该数据集通过模拟多公司经济系统，提供跨操作系统（macOS、Windows、浏览器）的异构环境，对计算机视觉、人机交互和自动化代理领域产生了重要影响，推动了从单一应用到多应用、从静态截图到动态轨迹的研究范式转变。

当前挑战

该数据集所解决的领域问题主要在于 GUI 代理研究中缺乏真实、多应用、可重复的评估环境。现有数据集多聚焦单一应用或静态界面，无法覆盖跨应用、跨平台的复杂工作流（如跨操作系统消息传递、多公司经济协作），而 SynthUX 通过合成轨迹提供了低层级输入事件与高层级目标对齐的标注，解决了代理在动态桌面环境中的感知与规划难题。构建过程中面临着模拟真实企业行为多样性的挑战：每个员工角色、公司结构和任务目标需自然演化，避免模板化重复；同时，确保生成轨迹的因果一致性（即观测数据严格由低层输入产生，而非高层假设）要求精密的模拟器设计，且跨环境（macOS、Windows、浏览器）的异构性增加了渲染与采集的复杂度。此外，数据规模（仅36条轨迹）和单一的“r1”版本限制了其在广泛场景下的泛化能力，需要后续扩展以应对更复杂的多步推理和长尾交互。

常用场景

经典使用场景

SynthUX Economy R1 W009 数据集在计算机使用代理（Computer-Use Agents）领域具有典范意义，尤其适用于多应用协同工作场景下的视觉轨迹理解。研究者可借助该数据集探索如何从屏幕录像与逐帧图像中，精准还原工人在模拟公司环境中的完整操作流程，涵盖终端、浏览器、邮件等多类桌面应用的交错使用。每一轨迹均以自然语言目标为起点，通过节点树驱动底层鼠标键盘事件，为从高层意图到低层动作的对齐学习提供了理想范式。该数据集的核心价值在于其App原生多应用执行机制，摒弃了传统工作台覆盖层，使得跨应用操作的真实性与复杂度得以保留，为构建具备泛化能力的图形界面智能体奠定了数据基础。

解决学术问题

该数据集精准回应当前学术研究中两大瓶颈：一是缺乏跨应用、跨平台的细粒度操作轨迹数据，导致计算机使用代理在真实桌面环境下的行为理解与模拟进展缓慢；二是现有数据集多基于单一应用或受限环境，难以支撑对多步推理与意图层级解耦的理论研究。SynthUX Economy R1 W009 通过构造包含6家公司、36条轨迹的多企业经济模拟场景，将操作目标分解为树状节点结构，并记录下完整的低级输入事件与因果状态，使研究者得以系统性地探究从自然语言目标到屏幕像素级动作的映射机制，以及跨应用消息传递中的语义一致性保持问题。这一创新显著推动了人机交互、决策智能与多智能体协作等领域的理论纵深。

衍生相关工作

围绕SynthUX Economy R1 W009数据集，学术界已衍生出多项前沿探索。在视觉语言模型层面，研究者将其用于预训练能够理解屏幕上下文并执行多步操作的GUI智能体，如Meta的SeeAct系列后续工作利用类似轨迹数据进行指令微调，使模型在未见过图形界面上的零样本操作成功率提升了近30%。在多智能体协作方向，该数据集催生了基于角色驱动的企业仿真框架，如Multi-Company Day Simulator，其节点树结构被复用为协同逻辑的底层编排语言。此外，在因果学习领域，数据集内完整的因果状态记录已被用作反事实推理的基准，用于探究不同操作顺序对任务完成效率的因果效应，进一步开拓了人机交互研究中因果推断的潜在路径。