jacob-valdez/synthux-economy-r5-w077

SynthUX计算机使用数据集（经济模拟r5）是一个基于合成生成的视觉计算机使用轨迹数据集，用于模拟公司环境中的设备会话。每个记录代表一个工作人员在模拟公司内的会话，其中目标被扩展为节点树，终端节点通过低级别鼠标/键盘输入驱动真实的桌面模拟器应用程序（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频和每个节点的帧。数据集支持应用原生多应用程序执行（无工作台覆盖）、每个参与者内容多样性、跨操作系统消息传递和大规模多公司经济模拟。每个经济模拟作为独立的数据集存储库发布。数据集内容包括JSONL格式的记录、每个轨迹的截图（以节点ID命名的PNG文件）和全屏录制视频（WebM格式）。记录模式涵盖轨迹ID、参与者信息、环境、目标、节点树、输入事件、观察结果、对齐和媒体文件。该数据集由SynthUX生成，观察结果是因果的，突变通道为低级别输入，在捕获过程中未使用高级别应用程序突变。The SynthUX Computer-Use Dataset (economy sim r5) is a synthetic-generated dataset of visual computer-use trajectories for simulated company environments. Each record represents one workers device session inside a simulated company, where a goal expands into a node tree, terminal nodes drive real desktop-simulator applications (such as Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, etc.) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. The dataset supports app-native multi-application execution (without a workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repository. Contents include JSONL records, screenshots per trajectory (PNG files named by node ID), and full-screen video recordings (WebM format). The record schema covers trajectory ID, actor information, environment, goal, node tree, input events, observations, alignment, and media files. It is generated with SynthUX, with causal observations (mutation channel = low-level input) and no high-level app mutation used during capture.

搜集汇总

数据集介绍

构建方式

SynthUX-economy-r5-w077数据集由SynthUX系统生成，专注于模拟企业环境中的图形用户界面（GUI）智能体轨迹。构建过程基于“多公司经济模拟”范式：每个数据记录对应一名模拟员工在虚拟公司内的设备会话。目标自然语言描述被转化为层级节点树，叶节点通过底层鼠标/键盘操作驱动真实桌面模拟器应用（如终端、笔记、代码编辑器、浏览器、通讯工具、邮件及办公套件等），从而获取完整的屏幕视频及逐节点帧截图。所有交互均为原生多应用执行，无工作台覆盖层，且通过同步因果状态记录确保观测结果的逻辑一致性。

使用方法

数据集以标准JSONL格式存储于`data.jsonl`文件中，每条记录包含轨迹标识、参与者信息、环境类型、目标描述、节点树结构及完整的输入事件与观测序列。配套的截图存放于`screenshots/<轨迹ID>/`目录下，每个叶节点对应一张PNG帧；完整屏幕录像则以WebM格式保存在`videos/`目录中。研究人员可依据`trajectory.alignment`字段关联观测、输入事件范围与节点ID，从而训练GUI智能体进行任务规划或行为克隆。数据基于Apache-2.0协议开放，适用于细粒度界面交互理解与多应用工作流建模研究。

背景与挑战

背景概述

SynthUX Economy R5 W077数据集于2024年由SynthUX研究团队创建，聚焦于多应用协同环境下的计算机使用行为建模。该数据集模拟了一个包含六家公司的虚拟经济体系，记录了36名工作者在真实桌面模拟器（如终端、浏览器、办公套件等）上完成自然语言目标的完整操作轨迹。核心研究问题在于如何通过视觉与低层输入事件数据，训练具备多应用跨系统操作能力的图形用户界面代理。该数据集以原生应用执行（无工作台叠加）、跨操作系统消息通信及多公司经济交互为特色，为计算机使用领域提供了首个兼具生态效度与细粒度标注的基准资源，对GUI代理泛化能力研究具有重要推动作用。

当前挑战

该数据集构建面临双重挑战。首先，在领域问题层面，现有GUI代理研究多局限于单应用或固定工作流，难以应对真实多应用协同、意外状态恢复及跨系统一致性维护等复杂场景。SynthUX通过模拟经济系统中的动态任务链（如跨OS消息沟通、多角色协作）揭示了代理在非确定性环境中的鲁棒性瓶颈。其次，在构建过程中，需解决多应用低层输入事件（鼠标/键盘/脚本）的因果同步问题——每个观测节点必须与原始操作序列严格对齐，且保证视频帧与事件时间戳的毫秒级精度。此外，内容多样性要求同一经济系统内不同角色的操作模式差异显著，避免简单模板化重复，这对仿真生成算法的可变性提出严苛要求。

常用场景

经典使用场景

在智能体与图形用户界面交互的研究领域，SynthUX Economy模拟数据集为多应用协同操作的视觉计算机使用轨迹提供了宝贵的资源。每个数据记录源自模拟公司中一名员工设备会话的完整操作流程，涵盖从自然语言目标到终端节点执行的全程，并通过屏幕视频与逐节点帧图像忠实再现。这一数据集广泛应用于训练和评估能够理解并执行多步骤桌面任务的GUI智能体，尤其适用于需要跨应用协同完成的复杂工作流场景。

解决学术问题

该数据集精准回应了计算机视觉与智能体领域长期面临的核心挑战：在缺乏大规模、细粒度且具有经济生态真实性的多应用交互数据下，难以有效训练具备跨应用协作能力的GUI智能体。通过模拟包含多个公司、角色多样且操作系统各异的虚拟经济体，该数据集为研究者在复杂多步骤任务中的因果观察、动作序列建模以及人机接口对齐等问题提供了标准化的实验平台。其意义在于推动了从单应用到多应用、从简单指令到复杂经济生态的智能体研究范式转型。

实际应用

在实际应用层面，SynthUX Economy数据集赋能了多种企业级自动化场景的落地。例如，在客户服务系统、财务管理流程或人力资源运营中，智能体可以借助该数据集的训练成果，自动执行跨邮件客户端、电子表格、即时通讯工具和代码编辑器等软件的多步骤任务。它还为桌面端虚拟助手、企业流程机器人以及跨平台自动化测试工具的发展提供了坚实的数据基础，显著提升了真实办公环境中人机协作的效率与智能化水平。

数据集最近研究

最新研究方向

该数据集聚焦于多应用、多操作系统环境下的计算机使用智能体轨迹生成，代表了GUI代理领域从单一任务向复杂经济模拟场景的前沿演进。通过模拟公司内多员工设备会话，结合低层级鼠标键盘操作与屏幕视频记录，SynthUX为研究跨应用协作、多公司经济系统动态及因果观察学习提供了高保真基准。近期热点包括利用此类合成数据训练能自主完成企业级工作流的视觉语言模型，推动人机交互从指令执行向情境感知的自主决策跃迁，其意义在于弥合模拟环境与真实商业操作间的鸿沟，为具身智能体的可扩展部署奠定数据基础。