jacob-valdez/synthux-economy-r4-w002

SynthUX计算机使用数据集是一个基于模拟经济环境的视觉计算机使用轨迹数据集，由SynthUX生成。每个记录代表一个模拟公司内的工作者设备会话：目标扩展为节点树，终端节点通过低级鼠标/键盘输入驱动真实桌面模拟器应用（包括终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频和每节点帧。该数据集支持应用原生多应用程序执行（无工作台覆盖），具有每参与者内容多样性、跨操作系统消息传递和大规模多公司经济模拟特点。每个经济模拟作为独立的数据集仓库发布，包含数据文件、截图和视频等内容。协议：Apache 2.0 任务分类：其他 标签：计算机交互（computer-use）、图形界面智能体（gui-agents）、合成数据集、多应用场景 展示名称：SynthUX计算机交互数据集（经济模拟版） # SynthUX计算机交互数据集——经济模拟r4版 由SynthUX生成的锚定式视觉计算机交互轨迹。每条记录对应一名员工在模拟企业中的设备会话：任务目标会展开为节点树，终端节点通过底层鼠标/键盘输入驱动真实桌面模拟器应用（终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），同时将观测到的交互轨迹录制为屏幕视频及逐节点帧画面。 本数据集支持应用原生多应用执行（无工作台覆盖层）、参与角色内容多样性、跨操作系统消息传递及大规模多企业经济模拟。每个经济模拟数据集均以独立的数据集仓库发布。 ## 内容结构 - `data.jsonl`：每条渲染轨迹对应一条数据记录 - `screenshots/<trajectory>/<node_id>.png`：每个终端节点的帧画面，拍摄于该节点的最后一次输入事件时刻 - `videos/<trajectory>.webm`：完整屏幕录制视频 ## 记录字段规范 | 字段 | 含义 | |---|---| | `trajectory_id` | 格式为`<actor>__<env>`的唯一标识符 | | `actor_id`、`company`、`role_id`、`title` | 参与角色的身份及所属组织信息 | | `env` | 模拟器环境：`macos-web-next` / `windows-web-next` / `browser-os` | | `goal` | 本次会话的自然语言任务目标 | | `tree.nodes` | 参与者的终端节点，包含`surface`、`action`、`target`、`args`字段 | | `trajectory.input_events` | 包含时间戳`t_ms`的高密度底层鼠标、键盘及脚本输入事件序列 | | `trajectory.observations` | 每个节点执行后的因果模拟器状态 | | `trajectory.alignment` | 关联观测数据、输入事件范围与节点ID的映射信息 | | `media.video` | 格式为webm的屏幕录制视频 | | `media.frames` | 逐节点PNG帧画面，包含节点ID、时间戳`t_ms`及资源引用`blob_ref` | ## 本次构建统计 - 交互轨迹数量：**36** - 视频数量：36 · 帧画面数量：794 - 企业数量：6 - 按环境分布：browser-os（11）、macos-web-next（16）、windows-web-next（9） ## 来源说明 本数据集使用SynthUX（synthux.multicompany.day.v1）生成。观测数据为因果式数据（变异通道=底层输入）；采集过程中未使用任何高层应用级别的数据变异操作。

搜集汇总

数据集介绍

构建方式

该数据集由SynthUX生成，专注于模拟企业环境中的图形用户界面（GUI）操作轨迹。每条记录代表一名员工在模拟公司中的设备会话过程：一个自然语言目标被展开为节点树，终端节点通过低层次的鼠标和键盘输入驱动真实的桌面模拟应用（如终端、笔记、代码编辑器、浏览器、即时通讯、邮件、电子表格等），并记录下完整的操作轨迹。数据采集采用原生多应用执行模式，无工作台叠加干扰，确保轨迹的真实性与因果性。每个经济模拟场景作为独立的数据集仓库发布，本版本为第四次迭代构建（r4）。

特点

该数据集的核心特点在于其多维度、高密度的数据覆盖。包含36条完整的操作轨迹，794个关键帧图像，覆盖6个模拟公司，横跨macOS、Windows及浏览器三种操作系统环境。每条轨迹均记录了员工身份、所属组织、角色职位等元信息，以及详细的低层次输入事件（含时间戳）和因果模拟器状态。轨迹与节点之间建立了精确的对齐映射，便于研究者追踪操作意图与执行结果之间的对应关系。此外，数据集保证了每个角色拥有独立的内容创作，避免了内容同质化问题。

使用方法

数据集以标准格式提供，包含三个核心文件：data.jsonl存储每条轨迹的结构化记录，screenshots目录按轨迹和节点组织PNG帧图像，videos目录提供完整的屏幕录像（WebM格式）。研究者可直接加载JSONL文件读取轨迹元数据、输入事件序列、状态观察和节点对齐信息，结合可视化帧和录像进行多模态分析。典型应用场景包括GUI代理的训练与评估、人机交互行为建模、多应用协作任务分析等。由于采用Apache-2.0许可证，数据集可自由用于学术研究和商业用途。

背景与挑战

背景概述

SynthUX Economics R4 W002 数据集由 SynthUX 团队于近期创建，旨在推动图形用户界面（GUI）智能体的视觉自主操作研究。该数据集聚焦于多应用协同的计算机使用场景，通过模拟企业内部经济体系，生成了涵盖终端、代码编辑器、浏览器、即时通讯等多应用环境的设备会话轨迹。每个轨迹包含完整的屏幕视频、中间帧及低层级鼠标键盘事件记录，为研究基于视觉反馈的智能体在复杂任务中的决策过程提供了高质量、多样化的数据基础。其独特的“多公司经济模拟”设计，使得跨组织、多角色、多操作系统的交互数据得以系统化呈现，对于增强现实世界 GUI 自主操作的研究具有重要借鉴意义。

当前挑战

该数据集所解决的领域挑战在于：GUI 智能体需在无明确 API 接口的基础上，仅通过视觉感知与低层级操作完成跨应用、多任务的经济模拟流程，这涉及对环境状态动态变化的理解、长期任务的目标分解，以及异常事件（如消息交互冲突、应用加载延迟）的鲁棒处理。构建过程中面临的核心挑战包括：1）模拟大规模企业内部的多应用集成环境，确保轨迹的因果关系而非简单脚本回放；2）生成不同操作系统（macOS、Windows、浏览器）上一致且可复现的交互序列，并捕获每步操作的视觉反馈；3）在有限数据量（36条轨迹）下保持内容多样性，涵盖多个角色与公司背景，避免偏向特定操作模式。这些挑战要求生成系统在数据保真度、覆盖范围和可控性之间取得平衡。

常用场景

经典使用场景

SynthUX Economy R4 W002数据集在经典使用场景中，主要服务于多应用图形用户界面（GUI）智能体的训练与评估。该数据集模拟了虚拟公司内员工的完整计算机操作轨迹，涵盖终端、笔记、代码编辑器、浏览器、即时通讯、邮件及办公套件等桌面应用的交互过程。通过记录低层次鼠标与键盘输入、屏幕视频以及逐节点帧图像，它为研究者提供了从自然语言目标到具体操作步骤的端到端对齐数据，尤其适合用于构建和验证能够跨应用、跨操作系统的GUI自主代理。

解决学术问题

该数据集有效解决了学术界在多应用协作环境下GUI代理研究的若干瓶颈。其一，它填补了真实多应用、多操作系统桌面场景下细粒度操作轨迹数据的空白，克服了以往数据集仅覆盖单一应用或单一平台的局限。其二，通过提供因果链清晰的操作记录与对齐信息，它支撑了代理行为可解释性与归因分析的研究。其三，大公司多角色模拟机制为探究组织结构对代理决策的影响提供了实验基础，推动了人机协作与社会计算理论的实证研究。

衍生相关工作

基于SynthUX Economy R4 W002数据集，学术界与工业界已衍生出多项重要工作。在方法层面，研究者开发了从屏幕截图到操作动作的多任务多模态模型，如可同时理解界面布局与生成操作序列的Transformer架构。在应用层面，衍生了面向跨应用工作流的增强学习算法，以及基于此数据集对比不同GUI代理框架性能的基准评测。此外，该数据集的发布催生了关于GUI自动操作与隐私安全冲突的研究，以及如何通过模拟经济环境优化企业资源分配的计算社会学探讨。