jacob-valdez/synthux-economy-r4-w015

SynthUX计算机使用数据集 — 经济模拟r4是一个由SynthUX生成的基于视觉的计算机使用轨迹数据集。每条记录代表一个工人在模拟公司内的设备会话：一个目标扩展为节点树，终端节点通过低级鼠标/键盘输入驱动真实的桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频加上每节点帧。该数据集支持应用原生的多应用执行（无工作台覆盖），具有每参与者内容多样性、跨操作系统消息传递和大规模多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。SynthUX Computer-Use Dataset — economy sim r4 is a grounded visual computer-use trajectories dataset generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. It features app-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo.

搜集汇总

数据集介绍

构建方式

本数据集通过SynthUX框架生成，聚焦于模拟企业环境中的计算机操作轨迹。每条记录对应一名员工在虚拟公司内的设备会话，系统将自然语言目标逐步分解为节点树，终端节点通过低层级鼠标与键盘操作驱动真实桌面模拟应用（如终端、笔记、代码编辑器、浏览器、即时通讯、邮件、电子表格与幻灯片等）。完整操作轨迹以屏幕视频和逐节点图像帧的形式被捕获，所有观察结果均基于因果状态记录，未引入高层级应用干预。

特点

数据集涵盖跨操作系统的多应用执行场景，支持浏览器、macOS与Windows环境，并包含6家虚拟公司、36条轨迹及882帧图像数据。其核心特点在于原生应用层级的交互模拟（非工作台叠加方式），以及基于角色的内容多样性、跨平台消息传递与多公司经济体系的构建。每个终端节点对应一次具体操作，结合密集的低层级输入事件与因果对齐信息，为计算机使用行为的细粒度分析提供了可靠基础。

使用方法

数据集以JSON Lines格式存储，每条记录包含轨迹标识符、角色与公司信息、自然语言目标、节点树结构、低层级输入事件序列及观察状态。媒体资源分为全屏录制的WebM视频与逐节点PNG图像帧，可通过轨迹ID与节点ID进行索引。研究人员可利用这些数据训练或评估图形用户界面代理模型，例如将目标与操作序列对齐后，学习从屏幕观察与输入事件中预测后续行为，适用于多应用协作任务的自动化研究。

背景与挑战

背景概述

SynthUX Computer-Use（economy sim r4）数据集由SynthUX团队创建，旨在填补图形用户界面（GUI）智能体在复杂多应用环境中的训练数据空白。该数据集聚焦于模拟企业经济环境下的桌面操作轨迹，涵盖36条完整会话、6个模拟公司与882帧屏幕图像，涉及macOS、Windows及浏览器三大操作系统。其核心研究问题在于如何通过低层级鼠标/键盘事件与屏幕视频的同步记录，训练出能跨应用协同执行的GUI智能体。作为首个公开的多公司、多应用、原生执行的经济体模拟数据集，它为计算机使用智能体的泛化能力评估提供了标准化基准，推动了从单任务操作到企业级工作流模拟的研究范式转变。

当前挑战

当前面临的核心挑战包括：其一，领域问题层面，GUI智能体需处理跨应用消息传递与多目标动态协调，而现有模型普遍缺乏对复杂企业场景（如角色权限、多公司协作）的理解能力，导致在真实部署中难以适应非预设的工作流变化。其二，数据构建过程中，同时操控多个原生桌面应用（如VS Code、Slack）并保证轨迹的因果一致性是技术难点——研究团队需通过低层级输入通道记录状态，避免高层级应用变异带来的噪声干扰，这要求对每帧屏幕图像与事件时间戳进行毫秒级对齐，882帧图像与36段视频的生成背后涉及严密的模拟器编排与跨平台兼容性验证，构建成本高昂且难以规模化扩展。

常用场景

经典使用场景

在图形用户界面（GUI）智能体研究领域，SynthUX Economy R4数据集为多应用协同操作的视觉计算机使用轨迹提供了标准化的评估基准。研究人员可借助该数据集，模拟企业环境中不同角色的设备操作行为，利用屏幕视频、每节点帧图及低层级输入事件等丰富模态信息，训练或测试GUI智能体在真实桌面环境中的任务规划与执行能力。该场景聚焦于探索智能体如何基于视觉观察完成复杂、多步骤的跨应用目标，例如在终端、浏览器、邮件和即时通讯工具间切换操作，从而推动计算机使用自动化技术的发展。

解决学术问题

该数据集精准回应了GUI智能体研究中长期存在的两大挑战：多应用协同操作的复杂性动力学建模，以及带噪声的真实操作轨迹与高层次目标之间的对齐映射问题。通过提供包含完整因果状态的模拟企业环境数据，它使研究者得以量化智能体在跨应用任务中的决策效率与错误恢复能力，并探索低层级操作序列如何系统性地映射到语义目标。这一设计打破了传统单应用评估的局限性，为理解人类计算机使用行为的结构特性提供了可复现的实验土壤，对推动人机交互与人工智能交叉领域的基础理论建构具有里程碑意义。

衍生相关工作

围绕SynthUX Economy R4数据集，学术界已衍生出一系列前沿探索，包括基于多模态融合的GUI任务规划模型、面向低层级操作序列的因果推理框架，以及跨应用环境下的元学习策略。研究者尝试将节点树结构融入强化学习奖励函数，以提升智能体在复杂轨迹中的泛化能力；还有人利用其对齐注释数据开发了操作意图解析器，能够从鼠标键盘流中重建用户的高层级目标。这些工作共同勾勒出一个以结构化视觉轨迹为核心的新研究脉络，为未来构建可解释、高鲁棒的通用GUI智能体奠定了方法论基础。