jacob-valdez/synthux-economy-r5-w086

SynthUX计算机使用数据集——经济模拟r5是一个由SynthUX生成的基于视觉的计算机使用轨迹数据集，模拟了公司环境中的工作会话。每个记录代表一个工作者在模拟公司设备会话中的轨迹：目标扩展为节点树，终端节点通过低级鼠标/键盘输入驱动真实桌面模拟器应用程序（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频加上每个节点的帧。数据集支持应用原生多应用程序执行（无工作台覆盖）、每个参与者内容多样性、跨操作系统消息传递和大型多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。SynthUX Computer-Use Dataset — economy sim r5 is a grounded visual computer-use trajectories dataset generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. It features app-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo.

搜集汇总

数据集介绍

构建方式

在计算经济学与图形用户界面代理的交叉领域，SynthUX Economy R5 W086数据集通过模拟多公司经济环境中的员工桌面操作轨迹而构建。每条记录对应一位虚拟员工在仿真公司内的设备会话：自然语言目标被展开为一棵行为节点树，终端节点通过底层鼠标与键盘输入驱动真实桌面模拟器应用（包括终端、笔记、代码编辑器、浏览器、即时通讯、邮件、表格与幻灯片等），整个操作过程被录制为屏幕视频与逐节点帧图像。每个经济模拟任务均作为独立的数据集仓库发布，本构建版本包含36条轨迹，覆盖6家虚拟公司，横跨macOS、Windows及纯浏览器三种桌面环境。

特点

该数据集的核心特点在于其原生多应用联合执行机制——不依赖工作台覆盖层，而是直接操纵真实应用程序，实现了跨操作系统消息传递与每位扮演者内容的多样性。每条轨迹均包含密集的底层输入事件序列（鼠标、键盘与脚本事件，附带毫秒级时间戳）、因果模拟器状态快照以及观察结果与节点ID的对齐关系。数据形态上，每条轨迹提供完整的屏幕录像（WebM格式）和每个终端节点在最后一次输入事件时的帧图像（PNG格式），共计1096帧，为GUI代理的视觉感知与行为建模提供了细粒度的因果级观察数据。

使用方法

该数据集以标准JSON Lines格式存储于data.jsonl文件中，每条记录包含轨迹唯一标识符、所属员工与公司信息、仿真环境类型、自然语言目标、终端节点树（包含表面元素、动作、目标与参数）、底层输入事件序列（含时间戳）、因果模拟器状态观测以及媒体资源引用。配套的screenshots目录按轨迹组织存放PNG帧图像，videos目录提供完整的WebM屏幕录像。研究者可通过解析JSONL记录提取轨迹级信息，结合帧图像与视频进行多模态分析，适用于GUI代理训练中的目标推理、行为模仿与环境交互建模等任务。

背景与挑战

背景概述

SynthUX Computer-Use (economy sim) 数据集诞生于2025年，由SynthUX团队构建，旨在填补多应用图形用户界面（GUI）代理研究中缺乏大规模、真实模拟轨迹数据的空白。该数据集聚焦于模拟公司场景中多员工协作的桌面操作任务，每个记录包含从自然语言目标到低层次鼠标键盘事件的完整轨迹，覆盖终端、浏览器、邮件、办公套件等多种原生应用程序。通过跨操作系统环境（macOS、Windows、浏览器）和多公司经济模拟，该数据集为研究者提供了评估GUI代理在复杂、多步骤、多应用交互场景中泛化能力的基准，对推动计算机使用自动化、企业级软件智能体系统的发展具有深远影响。

当前挑战

该数据集面临的核心挑战在于所解决的领域问题：GUI代理需在动态、多窗口、跨应用的环境中将抽象目标分解为精确的低层次操作序列，并处理界面状态变化与异步事件；现有模型常因缺乏对UI元素动态定位与任务切换的鲁棒性而失败。构建过程中，挑战包括：1）模拟多公司、多角色经济系统时，需维护内容多样性与会话一致性，避免轨迹重复；2）生成因果轨迹时，需确保每步观察仅由低层次输入驱动，杜绝高层应用状态直接修改以保持真实性；3）跨OS环境（macOS、Windows、浏览器）的输入事件格式与屏幕渲染差异增加了数据规范化的难度。

常用场景

经典使用场景

该数据集为计算机使用场景下的智能体研究提供了丰富的多模态轨迹数据，每个样本记录了一位员工在模拟公司环境中的完整操作流程，包含自然语言目标、细粒度鼠标键盘事件、屏幕录像以及逐帧截图。研究者可以利用这些数据训练或评估能够跨应用执行复杂任务的图形用户界面智能体，例如在终端、浏览器、邮件、办公软件等多个应用程序之间协同操作，完成诸如数据整理、文档编辑、信息检索等实际工作流。

解决学术问题

该数据集有效解决了当前图形用户界面智能体研究中训练数据匮乏、任务场景单一、缺乏多步推理与多应用协同能力等核心难题。通过提供包含完整操作序列、语义目标与因果状态观测的高质量轨迹，它支持研究者深入探索智能体在复杂、长尾任务中的规划与执行机制。该数据集的发布推动了人机交互与人工智能交叉领域的发展，为实现真正可通用、可迁移的桌面级自动化助手奠定了数据和实验基础。

衍生相关工作

该数据集的构建方法衍生了一系列关于多模态轨迹合成、因果状态建模与跨应用任务分解的经典工作。研究人员在此基础上发展了基于层级任务树的动作规划算法，提出了融合视觉与低层控制信号的智能体训练框架，并催生了面向多公司、多角色场景的模拟经济环境。这些相关工作不仅深化了对计算机使用任务结构的理解，也为后续更复杂、更真实的桌面自动化研究提供了方法论和数据基准。