jacob-valdez/synthux-economy-r5-w070

SynthUX计算机使用数据集（经济模拟r5）是一个基于合成视觉的计算机使用轨迹数据集，模拟了公司环境中工人的设备会话。每个记录代表一个轨迹，包括屏幕视频和每个终端节点的帧。数据集支持原生多应用程序执行（无工作台覆盖），具有每个参与者的内容多样性、跨操作系统消息传递和大型多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。内容包含data.jsonl文件（每个渲染轨迹一条记录）、screenshots目录（每个终端节点的帧，以PNG格式存储）和videos目录（完整的屏幕录制，以WebM格式存储）。记录模式包括轨迹ID、参与者信息、环境、目标、节点树、输入事件、观察结果、对齐信息和媒体文件。统计显示有36个轨迹、1028帧和6家公司，环境分布为browser-os（10个）、macos-web-next（14个）和windows-web-next（12个）。数据使用SynthUX生成，观察结果是因果的（突变通道为低级别输入），在捕获过程中未使用高级别应用程序突变。The SynthUX Computer Usage Dataset (Economic Simulation r5) is a synthetic visual-based computer usage trajectory dataset that simulates device sessions of workers in corporate environments. Each record represents a trajectory, which includes screen recordings and frames of each terminal node. The dataset supports native multi-application execution (without workspace overlay), and features content diversity per participant, cross-operating system messaging, and large-scale multi-corporate economic simulations. Each economic simulation is released as an independent dataset repository. The dataset contains three core components: the "data.jsonl" file (one record per rendered trajectory), the screenshots directory (storing frames of each terminal node in PNG format), and the videos directory (storing full screen recordings in WebM format). The record schema includes trajectory ID, participant information, environment, target, node tree, input events, observations, alignment information, and media files. Statistical analysis reveals that the dataset comprises 36 trajectories, 1028 frames, and 6 participating companies. The environment distribution covers browser-os (10 instances), macos-web-next (14 instances), and windows-web-next (12 instances). The data is generated using SynthUX, where the observations are causal (the mutation channel employs low-level inputs), and no high-level application mutations were utilized during the capture process.

搜集汇总

数据集介绍

构建方式

SynthUX-Economy-R5-W070 数据集源自 SynthUX 框架，专注于生成模拟公司内部员工的计算机使用轨迹。其构建方式基于一种层次化任务分解机制：将员工的自然语言目标逐步拆解为节点树，终端节点驱动桌面模拟器应用（包括终端、笔记、代码编辑器、浏览器、即时通讯、邮件、电子表格、演示文稿等）执行底层鼠标与键盘操作。整个交互过程被完整记录为屏幕视频及每个终端节点的关键帧快照，确保轨迹的真实性与可复现性。每个模拟经济场景独立发布为该数据集仓库，本版本包含 36 条轨迹、1028 帧画面，覆盖 6 家模拟公司及 3 种操作系统环境。

特点

该数据集的核心特点在于多应用原生执行与多公司经济模拟的深度融合。不同于常见的覆盖层式工作台，所有操作均基于真实桌面应用的原生界面，通过跨操作系统消息传递与跨应用协作实现高度真实的计算机使用场景。数据集中每条轨迹都包含丰富的底层事件序列（鼠标、键盘、脚本事件）及因果模拟状态，并通过对齐机制将观测结果与节点 ID 一一对应。此外，每名演员拥有独特的角色身份与目标，确保了内容的多样性，而多公司结构则模拟了复杂的经济生态系统。

使用方法

数据集以标准格式提供，便于直接加载与解析。主文件 data.jsonl 包含每条轨迹的完整元数据与事件序列，用户可通过 trajectory_id 进行索引；对应的屏幕视频存放于 videos/ 目录下（.webm 格式），而 frames 子目录提供每个终端节点的 PNG 快照。研究人员可基于底层输入事件模拟 GUI 代理的决策过程，或利用屏幕视频与帧图进行视觉理解任务的训练与评估。推荐使用 Python 的 jsonlines 库读取 .jsonl 文件，并通过 OpenCV 或 PIL 处理图像数据，以便复现或扩展原生的计算机使用场景。

背景与挑战

背景概述

SynthUX Computer-Use (economy sim) 数据集由 SynthUX 团队创建，旨在为图形用户界面（GUI）代理研究提供大规模、多应用、多公司经济模拟环境下的计算机使用轨迹数据。该数据集于经济模拟框架下生成，每个记录对应一名员工在模拟公司内的设备会话，涵盖从自然语言目标到低层鼠标/键盘输入的完整轨迹。数据集包含36条轨迹、1028帧图像及6家模拟公司的跨操作系统场景（macOS、Windows、浏览器）。这一创新性资源填补了真实世界GUI交互数据集匮乏的空白，为自主代理在复杂企业环境中的行为建模、任务规划与泛化能力评估提供了坚实的基准，对推动GUI代理从简单任务向多应用协作场景的演进具有重要影响力。

当前挑战

该数据集的核心挑战在于解决GUI代理在真实多应用、多公司经济环境中的自主操作问题：代理需在动态跨应用场景（如同时操作终端、浏览器、邮件及协作软件）中完成复杂工作流，且面临操作系统异构性（macOS/Windows/浏览器）带来的底层输入差异。构建过程中，SynthUX团队克服了合成数据生成的真实性难题，通过低层输入因果观测确保轨迹与屏幕状态严格对齐，并设计多公司角色与内容多样性以避免模型过拟合。此外，数据集的36条轨迹规模有限，如何在保持高保真度的前提下扩展至更大经济体和更广泛应用域，是下一阶段的关键瓶颈。

常用场景

经典使用场景

在人工智能与自动化领域，合成用户交互数据已成为训练和评估图形用户界面智能代理的关键资源。SynthUX Economy R5 W070数据集专注于模拟企业环境中的多应用计算机使用场景，通过记录工人在虚拟公司内的完整设备会话，构建了包含自然语言目标、底层鼠标键盘事件以及屏幕录像的丰富轨迹数据。该数据集最经典的使用场景是用于训练能够理解复杂多步骤任务的GUI智能代理，使其在跨应用（如终端、浏览器、邮件、协作工具等）操作中具备规划和执行能力，尤其适合在模拟经济系统的多公司背景下验证代理的通用性与鲁棒性。

衍生相关工作

该数据集的发布催生了一系列具有影响力的衍生研究。在训练方法论层面，研究者利用其多树节点结构探索了分层强化学习与目标条件策略的结合，提出了基于子目标分解的代理架构，显著提升了长轨迹任务的成功率。在评估框架方面，该数据集成为验证跨应用泛化能力的标准测试床，衍生出如“零样本企业工具操作”等基准任务。此外，数据集中包含的跨操作系统会话（macOS/Windows/浏览器）激发了对异构环境视觉特征对齐的研究，催生了面向跨平台GUI控制的域适应与迁移学习算法。这些工作不仅延伸了数据集本身的价值，也推动了智能代理从单一应用到多应用协作场景的范式演进。

数据集最近研究

最新研究方向

该数据集聚焦于多应用协同的图形用户界面智能体研究，通过模拟企业级多角色、跨平台的经济活动场景，为计算机使用任务的自主代理提供细粒度的真实轨迹数据。其前沿方向在于推动GUI智能体从单应用操作向多应用、多用户、多公司交织的复杂生态演进，结合合成数据与因果观测技术，探索代理在动态桌面环境中的意图理解与行为对齐能力。与近期自动化办公、数字劳动力等热点事件相呼应，SynthUX为构建具备跨应用语境推理与低层交互操控能力的下一代辅助系统奠定了数据基础，对提升AI在现实商业场景中的实用性与鲁棒性具有重要标杆意义。