jacob-valdez/synthux-economy-r1-w006

SynthUX计算机使用数据集——经济模拟r1是一个基于视觉的计算机使用轨迹数据集，由SynthUX生成。每个记录代表一个模拟公司内工作者的设备会话：目标被扩展为节点树，终端节点通过底层鼠标/键盘输入驱动真实的桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频和每节点帧。数据集支持应用原生的多应用执行（无工作台覆盖）、每个参与者的内容多样性、跨操作系统消息传递以及大规模多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。SynthUX Computer-Use Dataset — economy sim r1 is a grounded visual computer-use trajectories dataset generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. It features app-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo.

搜集汇总

数据集介绍

构建方式

SynthUX-Economy-R1-W006数据集通过多智能体经济模拟的方式构建，模拟了一家虚拟公司中多位员工的计算设备使用场景。每个数据记录对应一位工作者在一次设备会话中的完整操作轨迹：自然语言目标被逐步分解为节点树，终端节点驱动真实的桌面模拟应用（如终端、笔记、代码编辑器、浏览器、即时通讯工具、邮件、电子表格、演示文稿等），通过低层级鼠标与键盘指令执行操作，整个交互过程被录制为屏幕视频及每个节点对应的截图帧。数据集采用原生多应用执行环境，无需叠加工作台，确保操作轨迹的真实性与细粒度。

特点

该数据集的核心特点在于其多公司、跨操作系统的经济模拟结构，涵盖6家虚拟公司的36条轨迹，包含944个帧与36段屏幕视频。每条轨迹均完整记录了操作者的身份、所属组织、角色与目标，并提供了从高层目标到低层输入事件的完整对齐信息，包括输入事件的时间戳序列、因果模拟器状态以及帧与节点之间的映射关系。数据集支持浏览器、macOS与Windows三种桌面环境，确保了操作场景的多样性与跨平台适用性。

使用方法

数据集以JSONL格式提供，每条记录包含轨迹ID、操作者信息、环境类型、自然语言目标、节点树结构以及密集的低层输入事件序列。用户可通过加载`data.jsonl`文件遍历所有轨迹，并结合`screenshots/`目录下的PNG帧与`videos/`目录中的WebM视频文件进行多模态分析。适用于训练图形用户界面智能体、评估计算机操作任务的执行能力，以及研究多步骤任务规划与跨应用交互行为。

背景与挑战

背景概述

SynthUX Computer-Use （economy sim r1）数据集由SynthUX框架生成，创建于多公司经济模拟场景下，旨在为图形用户界面（GUI）智能体研究提供高保真、多应用的视觉计算机操作轨迹。该数据集由相关研究机构开发，核心关注点在于模拟真实办公环境中雇员跨操作系统（macOS、Windows、浏览器）完成复杂任务的过程，每个轨迹记录均包含完整的屏幕视频、逐节点截图及底层鼠标键盘事件序列。其影响力体现在为计算机使用（Computer-Use）领域提供了首个多公司、多角色、多应用协同的合成训练与评估基准，弥补了现有数据集在跨应用连续操作与场景多样性方面的不足，推动GUI智能体从单一应用向真实企业级多任务协同迈进。

当前挑战

数据集面临的核心挑战在于领域问题的复杂性与构建过程的精细度。领域问题层面，GUI智能体需要理解非结构化视觉界面并执行多步操作，而现有模型在跨应用跳转、上下文保持及异常恢复上表现薄弱，该数据集通过模拟经济体中的协作任务（如跨团队通信、文档编辑、表格处理）强化了这些难点。构建过程中，挑战包括：1）确保多应用间原生执行（无叠加工作台）以维持操作真实性；2）生成高度多样化的角色内容与任务目标，避免重复模式；3）在低层级输入事件与因果模拟状态间建立精确对齐，同时处理不同操作系统间的差异（如macOS与Windows的快捷键冲突），这对数据标注的准确性与轨迹合成的可靠性提出了极高要求。

常用场景

经典使用场景

在图形用户界面智能体（GUI Agent）的研究中，SynthUX Economy R1 W006 数据集被广泛应用于训练和评估模型在复杂多应用环境下的任务执行能力。该数据集记录了模拟公司中员工通过鼠标和键盘操作多个桌面应用程序（如终端、笔记、代码编辑器、浏览器、即时通讯、邮件、表格和演示文稿等）完成自然语言目标的完整轨迹，包含屏幕视频和关键帧截图，为研究多步骤、跨应用的计算机操作行为提供了密集的时序数据支持。

实际应用

在实际场景中，该数据集可支撑多种企业级自动化系统的开发与优化。例如，基于这些轨迹数据训练的模型可以自动完成员工日常的跨应用工作流，如从邮件中提取任务、在代码编辑器中修改配置、通过通讯工具通知团队成员，并在表格中更新状态。此外，该数据集的模拟经济环境特性使其特别适用于金融、咨询等需要多系统协作的行业，有望提升办公效率、降低人为操作失误并加速数字化流程的落地。

衍生相关工作

围绕SynthUX Economy R1 W006数据集已衍生出一系列开创性研究工作，包括基于因果推断的GUI操作过程建模方法、跨应用任务规划的层次强化学习框架，以及融合视频与低层级事件的多模态智能体架构。这些工作不仅深化了对计算机使用行为中因果关系的理解，也为构建更鲁棒、更可解释的自主操作系统奠定了基础，推动了智能体在模拟经济环境中从任务感知到策略执行的完整闭环研究。