jacob-valdez/synthux-economy-r1-w008

SynthUX计算机使用数据集 — 经济模拟r1 是由SynthUX生成的基于视觉的计算机使用轨迹数据集。每个记录代表一个模拟公司内员工的设备会话：一个目标扩展为节点树，终端节点通过低级鼠标/键盘输入驱动真实的桌面模拟器应用程序（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频和每个节点的帧。该数据集支持应用程序原生的多应用程序执行（无工作台覆盖）、每个参与者的内容多样性、跨操作系统消息传递以及大规模多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。SynthUX Computer-Use Dataset — economy sim r1 is a grounded visual computer-use trajectories generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. App-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo.

搜集汇总

数据集介绍

构建方式

该数据集源自SynthUX框架，旨在模拟公司内部员工的真实桌面计算机使用过程。每一条记录对应一名虚拟工作者在一个模拟企业环境中的设备会话。具体构建时，首先将一个自然语言目标扩展为节点树，终端节点通过低层级鼠标与键盘输入驱动真实的桌面模拟器应用，涵盖终端、笔记、代码编辑器、浏览器、即时通讯、邮件、电子表格与幻灯片等多样化工具。整个操作轨迹以屏幕视频和逐节点截图形式被完整记录，构建方式确保了数据在真实应用环境中的原生执行，摒弃了传统的叠加式工作台方案。

特点

该数据集的核心特色在于其高度拟真性与多应用协同能力。数据在同一会话中跨多个桌面应用程序运行，并支持跨操作系统的消息传递，覆盖macOS与Windows两种桌面环境及纯浏览器环境。每位工作者角色具有独立的公司归属与职能头衔，内容生成具备角色多样性。更重要的是，经济模拟规模可扩展至多公司并存格局，本发布版包含6家不同企业、36条会话轨迹和1152帧图像，充分体现了大规模合成数据在GUI智能体研究中的实用价值。

使用方法

数据集以JSON Lines格式提供核心记录，每条记录包含轨迹唯一标识、角色信息、目标文本、完整节点树以及密集的低层级输入事件序列。轨迹数据与其对齐信息相结合，将观察结果与输入事件范围精准映射至对应节点。此外，每个轨迹配备完整的屏幕录像（WebM格式）及每终端节点的关键帧截图（PNG格式），便于研究人员开展视觉理解、意图推理与动作预测等任务。数据遵循Apache-2.0许可，可直接用于训练和评估基于图形用户界面的智能体系统。

背景与挑战

背景概述

SynthUX Computer-Use (economy sim r1)数据集由SynthUX团队构建，发布于Apache-2.0许可之下，专注于模拟多公司经济环境中的图形用户界面（GUI）代理行为。该数据集的核心研究问题在于如何生成真实、可扩展的计算机使用轨迹数据，以支撑GUI代理在复杂多应用场景下的学习与评估。通过模拟六家虚拟公司中36次设备会话，数据集记录了从自然语言目标到低层级键盘鼠标操作的完整轨迹，涵盖macOS、Windows及浏览器三种操作系统环境，为多应用协同、跨平台交互及角色多样的代理行为研究提供了宝贵的基准资源，在自主软件代理和人机交互领域具有显著的推动作用。

当前挑战

该数据集面临的主要挑战包括：1）领域问题方面，旨在解决GUI代理在真实多应用环境中缺乏大规模、细粒度轨迹数据的问题，现有数据集多局限于单一封闭应用，难以复现跨应用、跨操作系统的复杂交互；2）构建过程中，需要同步模拟多个公司的经济活动与角色分工，确保每个代理目标的自然语言表达、节点树生成及终端指令的语义一致性；同时，实现无覆盖层的底层输入注入并捕获因果状态，对模拟器的保真度和数据完整性提出了严格要求，例如在36条轨迹中采样1152帧图像并保持事件时间戳的精确对齐，以避免数据噪声对代理学习效果的干扰。

常用场景

经典使用场景

在计算机视觉与智能体交互的交叉领域，SynthUX Economy R1 W008数据集为多应用协同环境下的图形用户界面智能体研究提供了高保真、多模态的交互轨迹数据。该数据集常被用于训练和评估能够自主操作多种桌面应用程序的GUI智能体，其核心特色在于模拟真实公司内部多角色、跨应用的复杂工作流程。每一条轨迹都包含从自然语言目标出发，经由层次化节点分解，最终映射为底层鼠标与键盘操作的完整过程，并辅以屏幕视频和逐帧截图。这使得研究者能够深入探索智能体在理解多步任务、跨应用信息传递以及适应动态界面反馈方面的能力，尤其适合构建端到端的任务自动化模型。

解决学术问题

该数据集精准回应了GUI智能体领域长期存在的两大研究瓶颈：多应用协同的泛化能力与真实场景中的因果一致性。在学术层面，传统数据集或局限于单应用环境，或依赖高层次的API调用而忽略了底层操作的细粒度因果链。SynthUX通过记录每个终端节点对应的鼠标键盘输入及环境状态变化，使得研究者能够分析智能体行为与屏幕反馈之间的时序因果关系，从而推动可解释推理与稳健策略的学习。此外，多公司、多角色与跨操作系统的设计，为解决实体识别、对话理解、日程协调等复合型任务中的跨域知识迁移问题提供了前所未有的大规模标注数据，有力支撑了元学习与少样本泛化等前沿课题的实证研究。

衍生相关工作

自发布以来，SynthUX Economy R1 W008数据集已催生多项创新性研究工作。在架构层面，研究者借鉴其多模态记录格式开发了融合视觉编码器与事件序列Transformer的端到端模型，实现了对连续屏幕帧与离散输入事件的联合建模。在训练策略上，该数据集的因果跟踪特性激发了基于逆强化学习的行为克隆研究方向，使智能体能够从观测中自动推断隐含的高层目标。此外，跨公司经济模拟的设计思路直接启发了Multi-Agent GUI协作仿真环境的构建，推动了如图形界面下的任务分解与角色协商等课题。同时，面向该数据集的多平台覆盖特性，部分工作开始探索操作系统无关的通用界面表征学习方法，为构建真正普适的GUI智能体奠定了坚实基础。