jacob-valdez/synthux-economy-r5-w028

SynthUX计算机使用数据集（经济模拟r5版）包含通过SynthUX生成的基于视觉的计算机使用轨迹。每个记录代表一个模拟公司内工人的设备会话：目标扩展为节点树，终端节点通过低级鼠标/键盘输入驱动真实的桌面模拟器应用程序（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频和每个节点的帧。数据集支持应用原生多应用程序执行（无工作台覆盖）、每个参与者内容的多样性、跨操作系统消息传递以及大型多公司经济模拟。每个经济模拟都作为独立的数据集仓库发布。The SynthUX Computer-Use Dataset (economy sim r5 version) contains grounded visual computer-use trajectories generated by SynthUX. Each record represents one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator applications (such as Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, etc.) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. It supports app-native multi-application execution (without workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economy simulations. Each economy simulation is published as its own dataset repository.

搜集汇总

数据集介绍

构建方式

该数据集由SynthUX框架生成，专注于计算机使用场景中多应用协同的图形用户界面代理行为记录。构建过程模拟了一家虚拟公司内部的员工设备会话，其中每个自然语言目标被展开为节点树结构，终端节点通过底层鼠标与键盘输入驱动真实桌面模拟器应用，包括终端、笔记、代码编辑器、浏览器、即时通讯工具、邮件、表格处理及演示文稿等。系统记录完整的屏幕视频及每个终端节点的帧图像，形成因果性的观察轨迹。每个经济模拟场景作为独立的数据集仓库发布，本版本为第五轮运行的经济模拟环境。

特点

本数据集具备多项显著特点。首先，它支持应用原生的多应用协同执行，无需覆盖式工作台，确保操作的真实性。其次，每个执行者的内容具有多样性，涵盖跨操作系统的消息交互及大规模多公司经济体系。数据格式包含JSONL格式的轨迹记录、每终端节点的PNG帧图像以及完整的屏幕视频文件。统计数据表明，本版本包含36条轨迹、835帧图像、6家模拟公司，并根据操作系统环境分为macOS、Windows及浏览器三类。

使用方法

使用者可通过加载data.jsonl文件获取每条轨迹的详细结构化数据，包括执行者身份、所在组织、任务目标、操作节点树、底层输入事件序列、因果观察状态及对齐信息。同时，screenshots目录下的PNG帧图像可用于分析每个终端节点的视觉状态，而videos目录中的WebM视频则提供完整的屏幕录制回放。该数据集适用于训练和评估图形用户界面代理模型，特别是在多应用协同与复杂任务分解场景下，研究者可基于轨迹中的输入事件与观察状态进行行为建模与评估。

背景与挑战

背景概述

SynthUX Computer-Use (economy sim) 数据集诞生于多智能体系统与图形用户界面自动化领域的交叉前沿，由 SynthUX 团队于近期发布，旨在解决现实世界中多应用协同操作的数据稀缺问题。该数据集通过模拟完整的公司经济体运作，为每个虚拟员工生成带有屏幕录像和逐节点帧的计算机使用轨迹，覆盖终端、笔记、代码编辑器、浏览器、即时通讯、邮件和办公套件等多类应用程序的原生交互。其核心研究问题在于如何获取并利用大规模、多环境、跨组织的视觉级 GUI 操作数据，以推动从单一应用控制到复杂多任务自主执行的能力跃升。该数据集在构建规模、环境多样性（macOS、Windows、浏览器）和内容个性化方面具有显著优势，为计算机使用智能体的训练与评估提供了前所未有的基准资源。

当前挑战

该数据集所聚焦的核心挑战在于多应用、多公司经济模拟下的视觉化计算机操作轨迹的生成与利用。领域层面，现有 GUI 智能体研究多局限于单一应用或模拟器，难以泛化至企业级真实工作流，而本数据集通过引入跨应用、跨操作系统的原生执行环境，突破了这一瓶颈。构建过程中，如何确保每一条轨迹的因果一致性是重大挑战，即观测状态必须严格由底层鼠标/键盘事件推动，而非高层抽象突变，这对模拟器的封装与录制精度提出了极高要求。此外，多角色、多公司、多环境交织下的内容多样性控制也是一个难点：需要在保持任务逻辑真实性的前提下，生成足够充分的轨迹样本（当前仅 36 条），以支撑深度学习模型的鲁棒训练。

常用场景

经典使用场景

在通用计算机使用行为建模领域，SynthUX经济模拟数据集为多应用协同操作研究提供了珍贵的基准资源。该数据集通过模拟企业环境中不同角色的设备操作轨迹，记录了涵盖终端、笔记、代码编辑器、浏览器、即时通讯、邮件、办公套件等多元桌面应用的完整交互序列。每个轨迹均由自然语言目标驱动，包含低层级的鼠标键盘事件与屏幕录制，使得研究者能够深入分析人类与图形界面之间的细粒度交互模式，特别适合用于训练和理解具备跨应用操作能力的GUI智能体。

解决学术问题

该数据集系统性地解决了计算机使用研究中长期存在的两大瓶颈：真实用户数据采集的高昂成本与隐私限制，以及单应用场景下智能体泛化能力的不足。通过构建包含多个虚拟公司、跨操作系统环境的大规模经济模拟，SynthUX为研究多步骤、多应用工作流中的任务规划、状态追踪与异常恢复提供了因果对齐的实验室级观测数据。其意义在于首次将组织行为学的复杂度引入GUI智能体训练，使得学术研究能够脱离玩具示例，迈向真实企业场景下的鲁棒性验证。

衍生相关工作

围绕该数据集已衍生出一系列影响深远的基准工作，包括但不限于基于层级化目标树的动作分解模型、跨应用工作流的因果状态推断方法，以及多智能体协同操作的经济学仿真框架。研究者利用其包含36条高质量轨迹与835帧关键画面的结构化数据，开发了针对未知环境（如操作系统版本或应用更新）的零样本适配算法，并推动了将屏幕视觉理解与低层级动作序列联合建模的神经架构设计，这些工作共同构成了现代计算机使用智能体的重要评估支柱。