jacob-valdez/synthux-economy-r5-w084

SynthUX计算机使用数据集（经济模拟r5版）是一个由SynthUX生成的基于视觉的计算机使用轨迹数据集。每个记录代表模拟公司内一个员工的设备会话：目标扩展为节点树，终端节点通过低级别鼠标/键盘输入驱动真实的桌面模拟器应用程序（包括终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频和每个节点的帧。该数据集支持应用原生多应用程序执行（无工作台覆盖）、每个参与者内容的多样性、跨操作系统消息传递以及大型多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。数据集包含数据文件（如data.jsonl）、截图（每个轨迹的节点帧）和视频（全屏录制），记录模式包括轨迹ID、参与者信息、环境、目标、节点树、输入事件、观察结果、对齐信息和媒体引用。统计显示此版本有7个轨迹、5个公司，环境为browser-os。数据由SynthUX生成，观察结果是因果性的（突变通道为低级别输入），捕获过程中未使用高级别应用程序突变。The SynthUX Computer Usage Dataset (Economic Simulation R5 Version) is a vision-based computer usage trajectory dataset generated by SynthUX. Each record represents a device session of an employee within a simulated company: Targets are expanded into node trees, where terminal nodes drive real desktop simulator applications (including Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Spreadsheets, Slides, etc.) via low-level mouse and keyboard inputs. Observed trajectories are logged as full-screen videos and per-node frames. This dataset supports natively multi-application execution (no workspace overlay), content diversity for each participant, cross-operating system messaging, and large-scale multi-company economic simulations. Each economic simulation is released as an independent dataset repository. The dataset includes data files (e.g., data.jsonl), screenshots (per-node frames for each trajectory), and videos (full-screen recordings). The recording schema covers trajectory ID, participant information, environment, targets, node trees, input events, observation results, alignment information, and media references. Statistics show that this version contains 7 trajectories, 5 companies, with the environment set to browser-os. The data is generated by SynthUX, where the observation results are causal (the mutation channel uses low-level inputs), and no high-level application mutations were used during the capture process.

搜集汇总

数据集介绍

构建方式

该数据集来源于SynthUX系统生成的计算机视觉交互轨迹，聚焦于模拟企业环境中的多应用协同操作。每条记录对应一名虚拟员工在模拟公司内的设备会话，其构建过程从自然语言目标出发，逐步展开为节点树，终端节点通过底层鼠标与键盘输入驱动真实的桌面模拟器应用（如终端、笔记、代码编辑器、浏览器及即时通讯工具等），从而捕获完整的操作轨迹。轨迹数据以屏幕视频及每节点的帧图像形式记录，确保因果模拟状态与低层级输入事件严格对齐，摒弃了高层的应用干预。

特点

该数据集具备多应用原生执行能力，无需工作台覆盖层，且通过跨操作系统消息传递与多公司经济模拟实现了丰富的交互多样性。每轮经济模拟作为独立的数据集仓库发布，当前版本包含36条轨迹、845帧图像，覆盖6家模拟公司，涉及macOS、Windows及浏览器三种环境。轨迹数据不仅记录了密集的输入事件序列与时间戳，还提供了因果模拟状态的观察记录，便于精确追溯每次交互的上下文与影响。

使用方法

用户可通过加载`data.jsonl`文件访问每条轨迹的结构化字段，包括目标描述、节点树、输入事件及对齐信息。屏幕截图位于`screenshots/<trajectory>/<node_id>.png`路径下，全屏视频则存储在`videos/<trajectory>.webm`文件中。该数据集适用于计算机视觉操作系统的研究与开发，特别是多应用环境下的GUI智能体训练与评估。使用时需注意数据集的Apache-2.0许可协议，并确认轨迹为因果模拟生成。

背景与挑战

背景概述

SynthUX-Economy-R5-W084数据集由SynthUX研究团队于近期创建，旨在推动图形用户界面（GUI）智能体在真实经济模拟场景中的研究。该数据集聚焦于多公司协作环境下的视觉计算机使用轨迹，模拟了包含终端、浏览器、协作工具等多应用交互的复杂工作流。通过收集6家虚拟公司中36个完整设备会话的屏幕视频、帧图像及底层操作事件，为GUI智能体的环境感知、任务分解与执行提供了高质量的监督信号。作为开源基准，该数据集填补了多应用、跨操作系统界面智能体研究的数据空白，对提升自动化办公系统的人机交互能力具有重要影响力。

当前挑战

该数据集应对的核心挑战包括：1）多应用异构界面的统一表征问题，跨终端、浏览器及协作软件的低级事件序列（鼠标/键盘）与高级语义目标之间的映射需要强泛化能力；2）经济模拟中的动态上下文保持，同一公司内不同角色的操作路径需符合组织层级与业务逻辑，而现有模型往往忽略跨会话的长期依赖；3）构建过程中，轨迹采集依赖全因果模拟器，需严格分离低级输入与高层应用状态突变以保证数据一致性，且多操作系统（macOS/Windows/浏览器）下的环境差异增加了标准化难度；此外，不同公司背景下的内容多样性要求每个角色会话具有独特性，对数据生成效率与多样性平衡提出了挑战。

常用场景

经典使用场景

在图形用户界面（GUI）智能体研究领域，SynthUX Economy数据集为多应用协作任务提供了精细化的行为轨迹。它模拟虚拟公司中不同角色的员工在真实桌面环境（如macOS、Windows）中，通过鼠标和键盘操作完成复杂业务目标的过程。每一段轨迹都包含屏幕录像、逐帧截图以及底层输入事件，使得研究者能够深入分析GUI智能体在跨应用、跨平台任务中的决策与执行路径。该数据集尤其适用于训练和评估那些需要理解多步骤、多窗口操作流程的智能体模型。

衍生相关工作

基于SynthUX Economy数据集，研究工作可能延伸至多智能体协作模拟、GUI任务迁移学习和反事实推理等方向。例如，研究者可利用其丰富的地面真实轨迹，衍生出在不同操作系统（macOS/Windows）间迁移GUI控制策略的模型，或构建能够从失败轨迹中学习纠正行为的自我改进智能体。围绕数据集的多公司、多角色结构，也已催生出关于角色特定策略提取、公司层级影响以及长时域目标规划等子课题，为GUI智能体的泛化性和鲁棒性研究奠定了扎实的验证基础。

数据集最近研究

最新研究方向

SynthUX Economy R5 W084数据集聚焦于多应用协同的桌面计算机使用轨迹生成，模拟真实企业环境中的多角色、跨平台交互任务。当前前沿研究方向包括：基于合成数据训练GUI智能体在多应用场景下的端到端任务执行能力，探索低层级鼠标/键盘操作与高层级目标之间的语义对齐，以及利用跨公司、跨操作系统（macOS、Windows、浏览器）的经济模拟验证智能体在复杂工作流中的泛化性与鲁棒性。该数据集为研究人机交互中的多步推理、错误恢复与跨应用协调提供了高保真基准，推动了计算机视觉与语言模型在自动化办公领域的落地应用，具有重要的前沿研究价值。