jacob-valdez/synthux-economy-r2-w005

SynthUX计算机使用数据集（经济模拟r2）是一个基于SynthUX生成的视觉计算机使用轨迹数据集。每个记录代表一个模拟公司内部的工作者设备会话：目标扩展为节点树，终端节点通过低级鼠标/键盘输入驱动真实的桌面模拟器应用（包括终端、笔记、VS代码、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频以及每个节点的帧。该数据集支持应用原生多应用执行（无工作台覆盖）、每参与者内容多样性、跨操作系统消息传递和大规模多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。Grounded visual computer-use trajectories generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. App-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo.

搜集汇总

数据集介绍

构建方式

该数据集由SynthUX框架生成，专注于模拟企业环境中的图形用户界面（GUI）代理行为。每个数据记录对应一名模拟员工在虚拟公司内部的设备会话。数据集的构建始于将自然语言目标展开为节点树，终端节点通过低层级的鼠标与键盘输入驱动真实桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等）。整个执行过程遵循应用原生的多应用交互模式，摒弃工作台覆盖层，并记录完整的屏幕视频及每个终端节点的帧图像。每段轨迹均包含输入事件序列、因果模拟器状态及对齐信息，确保数据从目标到执行的端到端可追溯性。

特点

该数据集的核心特点在于其高度逼真的企业级多任务模拟能力。它覆盖了跨操作系统（macOS、Windows及浏览器环境）的消息传递与多公司经济生态，每个模拟的经济体系均作为独立的数据仓库发布。数据集中包含36条轨迹、912帧图像及6个虚拟公司，展示了角色多样性与内容变异性。每个记录详细标注了员工身份、公司归属、角色职称及目标描述，同时提供密集的低层级输入事件（含时间戳）和因果状态观察，为研究GUI代理在复杂多应用场景中的行为模式提供了丰富且结构化的数据基础。

使用方法

该数据集以JSONL格式存储核心记录，并通过独立文件夹组织屏幕截图和视频资源。用户可加载`data.jsonl`文件，利用`trajectory_id`、`actor_id`、`env`等字段筛选特定轨迹，或通过`tree.nodes`字段解析终端节点的操作序列（包括表面、动作、目标及参数）。为复现代理行为，可结合`trajectory.input_events`中的低层级事件与`trajectory.observations`中的模拟器状态进行分析。视频文件（.webm）和帧图像（.png）支持可视化验证，而`trajectory.alignment`字段则建立了观察结果与输入事件到节点ID的映射，便于进行细粒度的行为对齐与评估。

背景与挑战

背景概述

在图形用户界面（GUI）智能体研究领域，模拟真实人类操作行为的训练数据稀缺是长期瓶颈。SynthUX Computer-Use数据集的economy sim r2版本由多公司经济模拟框架SynthUX于近期构建，旨在生成细粒度、多应用的计算机操作轨迹。该数据集覆盖36条轨迹、912帧屏幕截图，跨越macOS、Windows及浏览器三大操作系统环境，模拟6家虚拟公司中的员工设备操作。其核心创新在于通过节点树将高层目标分解为终端动作，驱动桌面仿真应用（如终端、代码编辑器、浏览器、通讯软件等），记录从鼠标键盘输入到屏幕视频的完整因果过程。该数据集的出现为GUI智能体的环境泛化与多应用协同决策提供了高质量的基准训练资源。

当前挑战

当前数据集面临双重挑战。在领域问题上，现有计算机操作智能体多局限于单一应用或固定界面，难以模拟真实办公场景中跨应用协作、多任务切换的复杂决策；SynthUX通过经济模拟引入组织角色约束与内容多样性，但场景规模与语义丰富度仍需扩展。在构建过程中，关键挑战包括：1）低层级输入事件与高层语义节点之间的对齐标注精度，需解决因果链路中的噪声问题；2）不同操作系统仿真环境的差异导致输入事件编码一致性与帧捕获同步困难；3）模拟公司经济系统的动态演化需要大量领域知识注入，避免生成轨迹流于表面操作缺乏战略逻辑。此外，36条轨迹的样本量较小，其代表性在更广泛的生产环境中尚待验证。

常用场景

经典使用场景

在人工智能与图形用户界面智能体（GUI Agent）的研究领域，SynthUX Economy模拟数据集被设计为多应用、跨平台的计算机使用轨迹资源。其经典用法在于为研究者提供丰富的、低层级鼠标与键盘输入事件序列，配合屏幕录像与逐帧截图，从而作为训练和评估桌面操作智能体的基石。这些轨迹来源于模拟公司中不同角色的员工，在一个包含终端、笔记、代码编辑器、浏览器、通信与办公套件等原生应用的生态系统中完成自然语言描述的工作目标。该数据集通过节点树结构将高阶目标分解为精细的操作步骤，使得研究者能够探索从意图理解到具体界面交互的完整范式转化过程。

衍生相关工作

SynthUX Economy数据集的出现催生了一系列后续研究方向的涌现。在本质上，它构建了一个可复现的、多主体的桌面操作沙盒，使得研究者可以借鉴多智能体协作框架，围绕“员工角色-公司-经济”三元组设计监督学习或强化学习范式。例如，一些工作将其用作少样本学习基准，探讨如何通过少数轨迹教会智能体执行跨应用的多跳任务（如从邮件提取订单后在电子表格中更新）。另有研究者据此发展了模型泛化能力测评模型，重点考察智能体在面对新公司结构或未见过应用版本时的适应性能。此外，轨迹与因果状态的对齐机制也被移植到其他领域，如机器人操作和辅助驾驶界面理解，推动了基于状态序列因果推理的通用方法进步。

数据集最近研究

最新研究方向

随着图形用户界面（GUI）智能体的快速发展，合成数据在多应用协同环境中的探索成为重要前沿方向。SynthUX经济模拟数据集通过模拟多公司经济体系中的设备会话，生成包含终端界面、笔记、代码编辑器、浏览器等跨应用操作的轨迹数据，每个轨迹配有屏幕视频和逐帧截图，突破了传统单应用数据集的局限。其采用原生多应用执行框架，确保观察因果链仅依赖于底层输入信号，避免了高层应用状态注入的干扰，为真实桌面环境下的计算机使用行为研究提供了可靠基础。该数据集的最新研究聚焦于利用大规模跨企业仿真数据训练GUI智能体的多任务规划与跨应用交互能力，推动自主桌面助手在复杂商业场景中的实用化进程，其开源发布对降低GUI智能体研究门槛、促进多模态行为建模具有显著意义。