jacob-valdez/synthux-economy-r3-w038

SynthUX计算机使用数据集（经济模拟r3）是一个基于视觉的合成计算机使用轨迹数据集，专为GUI代理设计。它模拟公司环境中工作人员的设备会话：目标扩展为节点树，终端节点通过低级鼠标/键盘输入驱动真实的桌面模拟器应用程序（包括终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），并记录观察到的轨迹作为屏幕视频和每个节点的帧。数据集支持原生多应用程序执行（无工作台覆盖）、每个参与者的内容多样性、跨操作系统消息传递以及大型多公司经济模拟。每个经济模拟作为独立的数据集存储库发布。内容包含data.jsonl文件（每个渲染轨迹一条记录）、截图（每个轨迹/节点的PNG帧）和视频（完整屏幕录制）。记录模式涵盖轨迹ID、参与者信息、环境、目标、节点树、输入事件、观察结果、对齐和媒体文件。统计信息显示本版本包含36个轨迹、817帧、6个公司，环境分布为浏览器操作系统（6）、macOS-web-next（14）、Windows-web-next（16）。数据使用SynthUX生成，观察结果是因果的（突变通道为低级输入），捕获期间未使用高级应用程序突变。### 数据集元数据 许可证：Apache-2.0 任务类别：其他 标签：计算机交互（computer-use）、GUI智能体（gui-agents）、合成数据（synthetic）、多应用（multi-application） 展示名称：SynthUX 计算机交互（经济模拟版） # SynthUX 计算机交互数据集——经济模拟 r3 由 SynthUX 生成的锚定式视觉计算机交互轨迹。每条记录对应一名员工在模拟企业中的设备会话：任务目标会展开为节点树，终端节点通过底层鼠标/键盘输入驱动真实桌面模拟器应用（终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、演示文稿等），采集到的交互轨迹会以屏幕视频及逐节点帧的形式进行记录。 本数据集支持应用原生的多应用执行（无工作台叠加层）、参与者内容多样性、跨操作系统消息传递，以及大型多企业经济系统。每个经济模拟均会作为独立的数据集仓库发布。 ## 内容说明 - `data.jsonl`：每条渲染轨迹对应一条记录。 - `screenshots/<trajectory>/<node_id>.png`：每个终端节点的单帧截图，采集于该节点的最后一次输入事件时刻。 - `videos/<trajectory>.webm`：完整屏幕录制视频。 ## 记录结构 | 字段 | 含义 | |---|---| | `trajectory_id` | 唯一标识符，格式为 `<actor>__<env>` | | `actor_id`、`company`、`role_id`、`title` | 参与者身份及所属组织信息 | | `env` | 模拟器环境：`macos-web-next` / `windows-web-next` / `browser-os` | | `goal` | 本次会话的自然语言任务目标 | | `tree.nodes` | 参与者的终端节点（包含 `surface`、`action`、`target`、`args` 字段） | | `trajectory.input_events` | 包含 `t_ms` 时间戳的密集型底层鼠标、键盘及脚本事件 | | `trajectory.observations` | 每个节点执行后的模拟器因果状态 | | `trajectory.alignment` | 关联观测结果与输入事件范围至节点ID的映射关系 | | `media.video` | 屏幕录制视频（格式为 webm） | | `media.frames` | 逐节点 PNG 帧（包含 `node_id`、`t_ms`、`blob_ref` 字段） | ## 本次构建统计 - 轨迹总数：**36** - 视频数量：36，帧总数：817 - 企业数量：6 - 按环境分布：browser-os（6）、macos-web-next（14）、windows-web-next（16） ## 数据集溯源 本数据集由 SynthUX（synthux.multicompany.day.v1）生成。观测结果基于因果逻辑（数据变更通道为底层输入）；采集过程中未使用高阶应用层变更操作。

搜集汇总

数据集介绍

构建方式

该数据集通过SynthUX框架生成，模拟了一家虚拟公司内多个员工的计算机使用轨迹。每个轨迹对应一位员工在桌面模拟器（如macOS、Windows或纯浏览器环境）中的一次完整会话。系统首先将自然语言目标分解为节点树，终端节点通过低层级鼠标、键盘操作驱动真实应用（终端、笔记、VS Code、浏览器、即时通讯、邮件、表格与幻灯片等），从而记录下完整的屏幕视频及每节点的帧图像。数据生成采用因果观测机制，仅依赖低层级输入变更通道，未使用高层应用突变，保证了轨迹的忠实还原。

特点

本数据集的核心特色在于其原生多应用执行能力，无需工作台覆盖层，且每个模拟经济体内包含多个公司、角色与操作系统间的交叉消息通信，实现了极高的内容多样性与场景真实感。每个轨迹均包含密集的低层级输入事件时间序列、因果状态快照及节点对齐信息，支持对GUI代理行为进行细粒度分析与复现。当前版本共有36条轨迹，涵盖6家公司，涉及817帧图像，横跨三种操作系统环境，为计算机视觉与GUI自主代理研究提供了丰富且可控的合成训练与评估数据。

使用方法

数据集以JSONL格式存储每条轨迹的元数据与事件序列，screen截图按轨迹和节点ID组织为PNG文件，完整屏幕录制则以WebM视频形式提供。用户可通过解析`data.jsonl`文件加载轨迹，结合`screenshots/`目录下的帧图像与`videos/`目录中的视频进行多模态分析。每个记录中的`tree.nodes`字段提供了高层语义动作，而`trajectory.input_events`则包含了精确到毫秒的鼠标、键盘及脚本事件，便于研究者用于训练GUI代理模型或评估代理在复杂多应用场景下的任务完成能力。

背景与挑战

背景概述

SynthUX Computer-Use数据集（economy sim r3）由SynthUX团队于近期开发，旨在为图形用户界面（GUI）智能体研究提供大规模、多应用协同的视觉计算机操作轨迹数据。该数据集聚焦于模拟企业内部多角色、跨平台（macOS、Windows、浏览器）的桌面操作场景，包含36条完整轨迹、817帧屏幕截图和6家公司环境，覆盖终端、笔记、代码编辑器、浏览器、即时通讯及办公套件等应用。核心研究问题在于如何构建能够理解和执行复杂多步骤GUI任务的智能体，并推动从单一应用到多应用、从单用户到多用户协同的范式转变。该数据集以其原生多应用执行、内容多样性及跨组织经济模拟的独特性，为计算机视觉、人机交互和智能体学习领域提供了宝贵资源，有力促进了GUI自动化与智能体对齐研究的发展。

当前挑战

该数据集面临的挑战主要源于所解决领域问题的复杂性：GUI智能体需处理高度动态、异构的界面环境，包括跨应用状态同步、操作系统差异（如macOS与Windows的交互逻辑差异）以及多角色协作中的任务分解与冲突解决。此外，构建过程中亦遭遇多重困难：一是生成真实、多样且无重复的轨迹需要精细的演员-环境模拟架构（SynthUX），确保每一条轨迹的因果一致性而非高层的应用突变；二是低层级鼠标/键盘事件的密集记录与对齐（即输入事件与节点树的精准映射）增加了数据标注的复杂性；三是多公司经济模拟场景的扩展性，使得在保持内容多样性的同时控制数据规模（36条轨迹）成为权衡挑战。

常用场景

经典使用场景

在图形用户界面（GUI）智能体研究领域，SynthUX Economy R3数据集为多应用协同场景下的计算机使用行为建模提供了珍贵的数据资源。该数据集记录了模拟企业中不同角色的工作人员在多个操作系统（macOS、Windows、浏览器）上，通过文本终端、记事本、代码编辑器、浏览器、即时通讯工具、邮件客户端、办公套件等多款应用完成复杂目标的完整操作轨迹。每条轨迹不仅包含屏幕视频和逐帧截图，还保留了底层的鼠标键盘交互事件及因果状态变化，为研究者提供了一个高度逼真、生态丰富的基准，用以训练和评估能够跨应用完成长链条任务的GUI智能体。

衍生相关工作

该数据集的推出已催生出若干具有启发性的衍生工作。在数据层面，研究者可基于其多公司、多角色的元数据设计跨领域迁移学习基线，探讨在不同企业文化与工具偏好下通用操作模式的泛化规律。在方法层面，SynthUX的因果观察机制（仅低层输入为变异通道）启发了基于反事实推理的鲁棒策略学习框架，使智能体在面对界面布局变化时仍能保持稳定表现。此外，部分工作开始尝试将此类多应用轨迹与大型语言模型的工具调用能力耦合，通过构建轨迹级别的思维链（Chain-of-Thought）样本，推动从静态API调用到动态GUI环境协作的智能体能力跃升。

数据集最近研究

最新研究方向

面向多应用协同的桌面智能体视觉轨迹生成与宏观经济模拟研究