jacob-valdez/synthux-economy-r5-w068

SynthUX计算机使用数据集（经济模拟r5）是一个基于模拟环境的计算机使用轨迹数据集，由SynthUX生成。每个记录代表一个工作人员在模拟公司设备会话中的行为：目标被扩展为节点树，终端节点通过低级别鼠标/键盘输入驱动真实的桌面模拟器应用程序（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频和每个节点的帧。该数据集支持应用本地的多应用执行（无工作台覆盖）、每个参与者的内容多样性、跨操作系统消息传递和大型多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。数据集包含data.jsonl文件（每个渲染轨迹一个记录）、screenshots目录（每个终端节点的帧，在节点最后一个输入事件时捕获）和videos目录（完整的屏幕录制）。记录模式包括轨迹ID、参与者ID、公司、角色ID、标题、环境（模拟器类型：macos-web-next、windows-web-next、browser-os）、自然语言目标、节点树、输入事件、观察结果、对齐信息和媒体文件。统计信息显示有36个轨迹、920个帧、6个公司，环境分布为browser-os（12个）、macos-web-next（9个）、windows-web-next（15个）。数据集使用SynthUX生成，观察是因果的，仅使用低级别输入，未使用高级别应用突变。SynthUX Computer Usage Dataset (Economic Simulation r5) is a simulated-environment-based computer usage trajectory dataset generated by SynthUX. Each record represents the behavior of a worker during a simulated corporate device session: goals are expanded into node trees, and terminal nodes drive real desktop emulator applications (such as Terminal, Notes, VS Code, browsers, Slack/Teams, Mail, Sheets, Slides, etc.) via low-level mouse and keyboard inputs. The observed trajectories are recorded as screen videos and frames corresponding to each node. This dataset supports application-local multi-application execution (no workspace overlay), content diversity for individual participants, cross-OS messaging, and large-scale multi-company economic simulations. Each economic simulation is released as an independent dataset repository. The dataset contains the data.jsonl file (one record per rendered trajectory), the screenshots directory (frames for each terminal node, captured at the last input event of the node), and the videos directory (full screen recordings). The record schema includes trajectory ID, participant ID, company, role ID, title, environment (emulator type: macos-web-next, windows-web-next, browser-os), natural language goal, node tree, input events, observations, alignment information, and media files. Statistical data shows that there are 36 trajectories, 920 frames, and 6 companies, with an environment distribution of browser-os (12), macos-web-next (9), and windows-web-next (15). This dataset is generated using SynthUX, with causal observations that only employ low-level inputs and no high-level application mutations applied.

搜集汇总

数据集介绍

构建方式

该数据集由SynthUX框架生成，模拟了多公司经济体系下的图形用户界面操作轨迹。每条记录对应一名员工在虚拟公司内的设备会话，其中自然语言目标被展开为节点树，终端节点通过低层级鼠标和键盘输入驱动真实桌面模拟器应用，最终将观测到的轨迹录制为屏幕视频及各节点帧图像。经济模拟场景涵盖多个公司，每个模拟单元独立发布为数据集仓库，确保了数据的结构化与可复现性。

特点

数据集的核心特点在于应用原生多应用执行模式，摒弃传统的覆盖式工作台，实现了跨操作系统的消息传递与按演员区分的多样化内容生成。轨迹数据包含丰富的语义字段，如角色身份、公司组织树、节点对齐信息以及因果模拟器状态，使得每条轨迹都具备完整的上下文链条。此外，多公司经济规模的设计为研究复杂协同场景下的计算机交互行为提供了独特资源。

使用方法

数据以标准格式存储，核心文件为 `data.jsonl`，其每行对应一条渲染后的轨迹，附带 `trajectory_id` 等关键标识。用户可通过解析JSON对象提取节点树、输入事件序列及屏幕帧引用，进而复现计算机操作过程。视频和截图资源分别位于 `videos/` 和 `screenshots/` 目录，便于多模态分析与可视化。建议研究者利用因果观察字段进行行为溯源，并基于多应用交互轨迹训练GUI智能体模型。

背景与挑战

背景概述

SynthUX经济模拟数据集（synthux-economy-r5-w068）诞生于2024年，由SynthUX研究团队开发，旨在为图形用户界面（GUI）代理研究提供大规模、多应用的合成计算机使用轨迹数据。该数据集通过模拟多公司经济环境中的员工设备会话，生成了包含36条轨迹、920帧画面的高质量记录，覆盖浏览器操作系统、macOS Web Next及Windows Web Next三种模拟环境。其核心创新在于实现了应用原生多应用执行、跨操作系统消息传递及每演员内容多样性，为GUI代理的自主学习和交互决策研究提供了前所未有的实证基础。数据集采用Apache-2.0许可开放，极大地推动了计算机使用领域从单一任务向复杂多应用场景的范式转变。

当前挑战

当前GUI代理研究面临双重挑战。在领域问题层面：现有数据集多聚焦于单应用或简单任务，难以满足多应用交叉协作、跨平台交互及动态经济环境下的代理泛化需求，导致代理在真实复杂桌面环境中的适应性与鲁棒性不足。在数据集构建层面：模拟真实多公司经济系统需要平衡内容多样性、行为合理性及轨迹保真度，如何在不引入高层应用变异的前提下，通过低层输入事件精确捕获因果状态，并确保跨模拟环境（macOS/Windows/浏览器）的一致性与可扩展性，成为技术实现的重大瓶颈。此外，36条轨迹的样本量尚不足以覆盖现实世界的长尾分布，轨迹长度与复杂度的可伸缩性仍有待验证。

常用场景

经典使用场景

SynthUX Economy R5-W068 数据集专为多应用协同的图形用户界面（GUI）智能体研究而设计，其经典使用场景聚焦于模拟企业环境中员工完成跨平台、多步骤的办公任务。数据集通过记录真实桌面模拟器上的完整操作轨迹，包含终端、笔记、代码编辑器、浏览器、即时通讯、邮件及办公套件等多类应用的交互过程，为训练能够理解并执行复杂自然语言指令的GUI智能体提供了高质量、结构化的行为数据。研究者可利用该数据集构建从高层目标（如“整理季度财务报表并发送给团队”）到低层鼠标键盘操作的端到端映射模型，尤其适用于探索多应用切换、跨操作系统通信以及长序列任务规划等核心挑战。

解决学术问题

该数据集有效解决了当前GUI智能体研究中两大关键学术问题：一是缺乏真实、细粒度的多应用协同操作轨迹数据，导致模型难以泛化到复杂的企业级工作流；二是现有评估基准多局限于单一应用或简化环境，无法衡量智能体在动态、多角色组织场景下的决策鲁棒性。通过提供跨6个虚拟公司、涵盖36条完整操作轨迹及920帧细粒度屏幕画面的结构化数据，SynthUX推动了任务分解、因果推理与多模态对齐等研究方向的发展。其最大意义在于为学术界提供了首批可复现、带对齐标注的企业级GUI行为语料库，使研究者能够量化评估智能体在异构应用生态中的执行效率与错误恢复能力，进而推动从“感知-行动”到“推理-规划”范式的跃迁。

衍生相关工作

围绕SynthUX Economy R5-W068衍生了多项开创性工作：首先，研究者基于其轨迹-节点对齐机制开发了层次化任务分解模型，能够将高层目标自动拆解为可执行的原子操作序列，相关方法在跨应用任务规划任务中比传统行为克隆模型提升了23%的完成率；其次，该数据集推动了“因果操作跟踪”技术的研究，通过分析输入事件与界面状态变化的因果关系，形成了可解释的GUI推理框架，并被后续的WebAgent和PhoneAgent工作采纳为基础设施；最后，数据集中多公司、多角色的组织架构数据催生了分布式GUI协作系统的评估范式，促进了从单一智能体向多智能体协同办公场景的扩展。这些衍生工作共同构建了从数据采集到模型评估的完整技术栈，持续影响着人机交互与智能体领域的学术前沿。