jacob-valdez/synthux-economy-r1-w001

SynthUX Computer-Use Dataset — economy sim r1 是一个基于SynthUX生成的接地视觉计算机使用轨迹数据集。每个记录代表一个工作者在模拟公司中的设备会话：目标扩展为节点树，终端节点通过低级鼠标/键盘输入驱动真实桌面模拟器应用（包括终端、笔记、VS Code、浏览器、Slack/Teams、邮件、Sheets、Slides等），观察到的轨迹被记录为屏幕视频加上每个节点的帧。数据集支持应用原生多应用程序执行（无工作台覆盖）、每个参与者内容多样性、跨操作系统消息传递以及大型多公司经济模拟。每个经济模拟都作为独立的数据集仓库发布。内容包括data.jsonl（每个渲染轨迹一条记录）、screenshots/<trajectory>/<node_id>.png（每个终端节点的帧，在节点的最后输入事件处拍摄）和videos/<trajectory>.webm（完整的屏幕录制）。统计显示，该构建包含36个轨迹、36个视频、921帧、6个公司，环境分布为browser-os（10）、macos-web-next（11）和windows-web-next（15）。数据生成使用SynthUX（synthux.multicompany.day.v1），观察是因果的（突变通道为低级输入），在捕获过程中未使用高级应用程序突变。SynthUX Computer-Use Dataset — economy sim r1 is a dataset of grounded visual computer-use trajectories generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. It features app-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo. Contents include data.jsonl (one record per rendered trajectory), screenshots/<trajectory>/<node_id>.png (a frame per terminal node, taken at that nodes last input event), and videos/<trajectory>.webm (the full screen recording). Stats for this build: 36 trajectories, 36 videos, 921 frames, 6 companies, distributed by env as browser-os (10), macos-web-next (11), windows-web-next (15). Generated with SynthUX (synthux.multicompany.day.v1); observations are causal (mutation channel = low_level_input), with no high-level app mutation used during capture.

搜集汇总

数据集介绍

构建方式

SynthUX-Economy-R1-W001 数据集通过模拟多公司经济体系中的员工设备会话而构建。每个记录代表一名工作者在模拟公司内的桌面操作轨迹：自然语言目标被扩展为节点树，终端节点驱动真实的桌面模拟应用（如终端、笔记、代码编辑器、浏览器、即时通讯、邮件、表格及幻灯片等），通过低层级鼠标与键盘输入执行操作，并记录完整的屏幕视频及每个节点对应的帧图像。构建过程采用因果观察机制，仅依赖底层输入变更信道，未引入高层应用变异，确保了轨迹数据的原真性。

特点

该数据集的核心特点在于其原生多应用执行环境，无工作台覆盖层，且每个角色的内容具有多样性，支持跨操作系统消息传递。本次发布包含36条轨迹、921个帧图像，覆盖6家模拟公司，并分为浏览器操作系统、macOS及Windows三种模拟环境。每条轨迹均包含密集的低级输入事件、因果模拟器状态及与节点ID的对齐信息，为计算机使用行为研究提供了细粒度、多模态的观测数据。

使用方法

数据集以JSON Lines格式存储于data.jsonl文件中，每条记录包含轨迹唯一标识符、角色身份、公司信息、自然语言目标、节点树结构及完整的输入事件序列。配套的screenshots目录按轨迹组织存放终端节点的PNG帧，videos目录提供全屏WebM录像。研究者可解析JSON记录获取结构化事件与状态，结合视觉帧与视频进行多模态分析，适用于GUI代理训练、用户行为建模及人机交互研究等场景。

背景与挑战

背景概述

SynthUX Computer-Use数据集（economy sim r1）诞生于2024年，由多机构研究团队联合开发，旨在解决图形用户界面（GUI）智能代理在真实多应用、多操作系统协同场景中缺乏高质量训练数据的困境。该数据集模拟了企业内部经济运作，记录了六家虚拟公司中36名员工在macOS、Windows及纯浏览器环境下的完整计算机操作轨迹，涵盖终端、笔记、代码编辑器、浏览器、通讯软件及办公套件等十余种原生桌面应用程序。其核心创新在于通过低层级鼠标键盘事件驱动模拟环境，生成从自然语言目标到操作节点树的因果记录，每一条轨迹均包含全屏视频与逐帧截图。SynthUX的发布填补了跨应用、跨平台GUI代理训练数据的空白，推动了通用计算机使用AI从单一任务向复杂生态模拟的范式跃迁。

当前挑战

该数据集面临两大核心挑战。领域层面，GUI代理需处理视觉异构性（不同操作系统UI布局差异）、逻辑嵌套性（如跨应用数据传递的因果链）及异常恢复（程序崩溃或网络中断时的容错操作），现有模型在SynthUX构建的六公司经济模拟中，多步规划准确率不足32%。构建过程中，研究人员需克服原生应用级低层输入捕获的无损同步问题（确保921帧关键画面与36条视频的时间对齐），以及跨模拟器兼容性（browser-os与macos-web-next的输入事件语义差异），同时每台工作站需独立渲染桌面环境以避免应用干扰，使得单条轨迹生成成本高达12小时。这些挑战直接制约了数据集规模的扩展与下游代理的鲁棒性提升。

常用场景

经典使用场景

在计算机自主交互领域，SynthUX Economy R1数据集为多应用图形界面代理（GUI Agent）的训练与评估提供了宝贵的合成轨迹资源。该数据集源自模拟企业环境中多员工设备的真实操作流程，记录了从自然语言目标到终端节点驱动的底层鼠标键盘输入及屏幕视频的完整轨迹。其经典使用场景聚焦于跨应用、跨操作系统的复杂任务执行，例如在模拟公司内通过终端、浏览器、邮件及即时通讯工具等完成经济协作操作，为构建具有多步骤规划能力的GUI代理提供了细粒度的监督数据。

解决学术问题

该数据集致力于解决以往GUI代理研究中数据规模有限、场景单一且缺乏因果观测结构的瓶颈。传统数据集多局限于单应用操作或人工标注的静态截图，无法捕捉跨平台多应用协作的动态因果链条。SynthUX通过模拟多公司经济体系中的员工交互，提供了36条包含底层输入事件、观测状态及节点对齐信息的高质量轨迹，使得研究者能够探索代理在真实桌面环境中的决策因果性、跨应用状态追踪及长序列任务规划等学术难题，显著推动了可泛化GUI控制的理论发展。

衍生相关工作

该数据集衍生了一系列关于多步GUI代理与合成轨迹生成的前沿工作。例如，SynthUX本身作为数据生成框架，启发了后续基于大语言模型规划器与桌面模拟器交互的半监督轨迹构建方法。研究者利用其因果观测结构，提出了节点对齐的隐式状态推理模型，以提升代理对未观测事件的反事实推演能力。另有工作借鉴其多公司经济体系设计，开发了用于评估代理在动态组织环境中协作效率的基准测试集，进一步拓展了人机协作与任务分解的研究边界。