jacob-valdez/synthux-economy-r3-w007

SynthUX计算机使用数据集（经济模拟版本r3）是一个基于合成数据生成的计算机使用轨迹数据集，专注于模拟真实工作环境中的计算机交互。该数据集通过SynthUX生成，每条记录代表一个工作者在模拟公司环境中的设备会话：从自然语言目标扩展为节点树，终端节点驱动真实的桌面模拟器应用程序（包括终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），并通过低级别鼠标和键盘输入进行交互。观察轨迹被记录为屏幕视频以及每个节点的帧图像。数据集支持应用程序原生多应用程序执行（无工作台覆盖），提供每演员内容多样性、跨操作系统消息传递和大型多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。内容包括data.jsonl文件（每个渲染轨迹一条记录）、screenshots文件夹（每个终端节点的帧图像）和videos文件夹（完整屏幕录制视频）。记录模式涵盖轨迹ID、参与者信息、环境、目标、节点树、输入事件、观察结果、对齐和媒体引用。统计显示本版本包含36个轨迹、979个帧、6个公司，环境分布为browser-os（9个）、macos-web-next（16个）和windows-web-next（11个）。数据生成基于SynthUX，观察使用因果模拟器（突变通道为低级别输入），未使用高级应用程序突变。The SynthUX Computer-Use Dataset — economy sim r3 is a grounded visual computer-use trajectories dataset generated by SynthUX. Each record represents one workers device session inside a simulated company: a natural-language goal expands into a node tree, terminal nodes drive real desktop-simulator applications (such as Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, etc.) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. It features app-native multi-application execution (without workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repository. Contents include data.jsonl (one record per rendered trajectory), screenshots (a frame per terminal node), and videos (full screen recordings). The record schema includes trajectory_id, actor information, environment, goal, tree.nodes, trajectory.input_events, trajectory.observations, trajectory.alignment, and media references. Statistics for this build show 36 trajectories, 979 frames, 6 companies, with environments distributed as browser-os (9), macos-web-next (16), and windows-web-next (11). Provenance indicates generation with SynthUX, using causal observations (mutation channel = low_level_input) and no high-level app mutation during capture.

搜集汇总

数据集介绍

构建方式

本数据集基于SynthUX框架生成，聚焦于多应用协同的桌面图形用户界面操作轨迹。每个数据记录模拟了一家虚拟公司中一名员工的设备会话：系统将自然语言目标解析为层级节点树，终端节点通过底层鼠标与键盘输入驱动真实桌面模拟器应用程序（包括终端、笔记、代码编辑器、浏览器、即时通讯工具、邮件、电子表格及演示文稿等），并记录完整的操作轨迹。观测过程采用因果模拟机制，仅依赖底层输入事件作为变异通道，避免使用高级应用接口进行状态变更，确保了轨迹的真实性与可复现性。

特点

该数据集的核心特点在于其原生的多应用执行环境，摒弃了传统工作台叠加层，实现了跨操作系统的消息传递与内容多样性。每个模拟经济体系均独立发布，本版本包含36条轨迹、979帧画面及6个虚拟公司，覆盖浏览器操作系统、macOS及Windows三大桌面环境。轨迹数据以高密度底层事件（鼠标、键盘及脚本操作）与时间戳记录，并辅以每个终端节点对应的屏幕帧图像及完整视频录像，为细粒度的用户界面代理研究提供了丰富的多模态观测素材。

使用方法

数据集以JSON Lines格式存储每条轨迹的结构化记录，包含轨迹标识符、参与者身份、组织信息、模拟环境类型、自然语言目标及节点树结构。底层输入事件与观测状态以时间序列对齐，并关联至对应节点标识码。媒体资源以独立目录组织：每个轨迹的全屏录像存放于videos文件夹，节点帧图像则按轨迹分组存储于screenshots目录。研究者可通过解析data.jsonl文件获取对齐的观测与事件数据，结合同步的视觉帧与视频回放，支撑桌面代理训练、多应用工作流建模及因果干预分析等任务。

背景与挑战

背景概述

SynthUX Computer-Use (economy sim) 数据集诞生于2024年，由研究团队为应对图形用户界面（GUI）智能体在复杂多应用场景下的评估需求而创建，属于多公司经济模拟的一环。该数据集聚焦于模拟企业内工作者在真实桌面环境中的计算机操作轨迹，涵盖终端、代码编辑器、浏览器、通信软件及办公套件等多类应用程序。通过记录低层级鼠标键盘事件与屏幕视频，为GUI智能体的决策能力与跨应用协同行为提供基准测试。其影响力在于填补了传统GUI数据集缺乏高保真多应用交互与结构化经济模拟的空白，为智能体在模拟企业生态中的实用性评估奠定了数据基础。

当前挑战

该数据集所解决的领域问题主要源于GUI智能体研究的两大挑战：一是现有数据集多局限于单一应用程序或简化环境，无法真实反映多应用协作与跨平台交互的复杂性，而SynthUX通过模拟多公司经济场景中的完整操作轨迹，推动了智能体在动态任务泛化上的评估。二是构建过程中需应对实际应用的异构性，包括不同的操作系统环境（macOS、Windows、浏览器）以及应用程序的实时状态变化，为此数据集采用因果观察机制记录每个节点的输入事件与模拟器状态，并借助SynthUX工具链生成结构化节点树，确保轨迹的语义一致性与可复现性，避免高层应用突变带来的干扰。

常用场景

经典使用场景

SynthUX Computer-Use Economy Simulation数据集为研究者提供了一套多应用协同的图形界面计算机操作轨迹，尤其适合训练和评估能够理解并执行跨应用、跨平台的GUI智能体。经典使用方式是将每个轨迹中的自然语言目标、终端节点序列、底层输入事件及屏幕帧作为多模态输入，构建能够从像素级视觉信息中推理出下一步操作的智能体模型。该数据集模拟了真实企业环境中员工使用终端、浏览器、邮件、即时通讯、办公套件等多种应用完成复杂经济任务的过程，是研究计算机使用领域中任务规划、指令跟随、环境交互和视觉推理等核心问题的理想基准。

衍生相关工作

该数据集衍生出的相关工作集中于多智能体协作框架和视觉感知增强的交互模型。基于SynthUX的经济模拟场景，研究者已开发出能够跨应用协调任务的分层规划架构，其中高层目标由任务分解网络解析为子目标节点，底层则由精调的动作模型驱动具体界面操作。此外，该数据集也催生了结合时间对齐信息的视觉-语言预训练方法，使模型能够从屏幕录像和帧捕获中自动学习事件因果链。其多公司、多角色的设定还激发了角色化智能体研究，探索不同职位（如分析师、工程师）在统一经济环境中的差异化行为模式与协同策略。

数据集最近研究

最新研究方向

SynthUX-economy-r3-w007数据集聚焦于多应用协同的桌面级GUI代理研究，通过模拟真实公司运营环境生成终端到终端的视觉计算轨迹，涵盖跨操作系统消息传递、多角色任务分解及低层级鼠标键盘事件记录。该数据集为构建能够自主执行复杂企业流程（如文档协作、代码开发、即时通讯调度）的通用计算机操作智能体提供了稀缺的细粒度训练与评估基准，其多公司经济模拟框架与原生应用交互设计（非工作台覆盖模式）显著推动了GUI代理在现实生产力场景中的泛化能力研究，相关成果对自动化办公、虚拟员工助手及企业级RPA技术的发展具有重要参考价值。