jacob-valdez/synthux-economy-r3-w037

SynthUX计算机使用数据集（经济模拟r3）是一个基于模拟环境的计算机使用轨迹数据集。它包含由SynthUX生成的、基于视觉的计算机使用轨迹，每个记录代表一个模拟公司内一名员工的设备会话。具体过程包括：目标扩展为节点树，终端节点通过低级别鼠标/键盘输入驱动真实的桌面模拟器应用程序（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频和每个节点的帧。数据集支持应用程序原生多应用程序执行（无工作台覆盖）、每个参与者的内容多样性、跨操作系统消息传递以及大型多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。许可证：Apache-2.0 任务类别：其他 标签：计算机交互（computer-use）、图形用户界面智能体（gui-agents）、合成、多应用 展示名称：SynthUX 计算机交互（computer-use）（经济模拟版） # SynthUX 计算机交互数据集——经济模拟版 r3 本数据集为由 SynthUX 生成的锚定视觉计算机交互轨迹。每条记录对应一名员工在模拟企业中的设备会话：会话目标会展开为节点树，终端节点通过底层鼠标/键盘输入驱动真实桌面模拟器应用（终端（Terminal）、备忘录（Notes）、VS Code、浏览器（Browser）、Slack/Teams、邮件（Mail）、表格（Sheets）、幻灯片（Slides）等），观测得到的交互轨迹会被录制为屏幕视频以及逐节点帧图像。 该数据集支持应用原生的多应用执行（无工作台覆盖层）、参与者间内容多样性、跨操作系统消息传递以及大规模多企业经济模拟。每一项经济模拟都会以独立的数据集仓库形式发布。 ## 数据集内容 - `data.jsonl`：每条记录对应一条渲染完成的交互轨迹。 - `screenshots/<trajectory>/<node_id>.png`：每个终端节点对应的帧文件，拍摄于该节点的最后一次输入事件时刻。 - `videos/<trajectory>.webm`：完整的屏幕录制视频。 ## 记录结构 | 字段 | 含义 | |---|---| | `trajectory_id` | 唯一标识符，格式为`<actor>__<env>` | | `actor_id`、`company`、`role_id`、`title` | 参与者信息与所属组织 | | `env` | 模拟器类型，可选值为`macos-web-next`、`windows-web-next`或`browser-os` | | `goal` | 会话对应的自然语言描述目标 | | `tree.nodes` | 参与者的终端节点，包含`surface`、`action`、`target`、`args`字段 | | `trajectory.input_events` | 包含时间戳`t_ms`的高密度底层鼠标、键盘与脚本事件 | | `trajectory.observations` | 每个节点执行完成后的模拟器因果状态 | | `trajectory.alignment` | 用于将观测结果与输入事件范围关联至节点ID的映射 | | `media.video` | 屏幕录制视频（格式为webm） | | `media.frames` | 逐节点PNG帧文件，包含`node_id`、`t_ms`与`blob_ref`字段 | ## 本次构建的统计信息 - 交互轨迹总数：**36** - 视频数量：36 · 帧图像数量：921 - 企业数量：6 - 按模拟器类型分布：browser-os（2条）、macos-web-next（15条）、windows-web-next（19条） ## 数据集溯源 本数据集由 SynthUX（版本synthux.multicompany.day.v1）生成。观测结果为因果性数据（数据修改通道为`low_level_input`）；数据采集过程中未使用高级应用层修改操作。

搜集汇总

数据集介绍

构建方式

在面向图形用户界面代理的数据集构建中，SynthUX 框架通过模拟多公司经济体系生成 grounded visual computer-use 轨迹。每个记录对应一家模拟公司内某位员工的设备会话：自然语言目标被展开为节点树，终端节点通过底层鼠标/键盘输入驱动真实的桌面模拟应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观测到的全程轨迹被录制为屏幕视频与逐节点帧图像。经济模拟环境覆盖 macOS、Windows 及纯浏览器操作系统，每个经济体作为独立数据集仓库发布，本版本包含 6 家公司、36 条轨迹及 921 帧图像。

特点

该数据集的核心特点在于其原生的多应用执行模式（无工作台叠加层）、跨角色的内容多样性、跨操作系统的消息传递机制，以及大规模多公司经济模拟的生态复杂性。每条轨迹不仅包含密集的底层输入事件序列（含时间戳），还提供因果性的模拟器状态快照与轨迹对齐信息，实现了从高层目标到低层操作的完整映射。数据集区分浏览器操作系统与原生桌面环境，突出不同平台下图形用户界面交互的异构性与真实感。

使用方法

数据集以标准 JSONL 格式（data.jsonl）存储元数据与轨迹结构，每行对应一条完整会话记录。逐节点屏幕截图存放于 screenshots/<trajectory>/ 目录下（PNG 格式），完整屏幕录像以 WebM 格式存放于 videos/ 目录。用户可通过 trajectory_id、actor_id 或 company 字段筛选特定轨迹，利用 alignment 字段将观测状态与输入事件范围关联至对应节点，适用于训练和评估基于视觉的图形用户界面代理模型，支持多应用上下文中的自动化任务学习与行为分析。

背景与挑战

背景概述

SynthUX Computer-Use数据集（economy sim r3）创建于2024年，由SynthUX研究团队开发，旨在为图形用户界面（GUI）智能体研究提供高保真的多应用计算机操作轨迹数据。该数据集聚焦于模拟公司内部员工通过低层级鼠标与键盘操作完成复杂目标的过程，涵盖终端、编辑器、浏览器、通讯软件及办公套件等多种真实桌面应用的协同执行。通过记录完整的屏幕视频与每节点帧，SynthUX为训练和评估能够理解视觉界面并执行多步骤操作的GUI智能体提供了关键基准，对推动人机交互与自动化领域的研究具有重要影响力。

当前挑战

该数据集所解决的领域核心挑战在于如何让智能体在真实多应用环境中进行低层级、因果性的计算机操作，而不仅仅是基于高层级API的简单指令执行。传统GUI智能体研究多依赖简化的模拟环境，难以捕捉跨应用消息传递、内容多样性及不同操作系统间的差异。构建SynthUX的过程中，团队面临如何在无覆盖层（workbench overlay）的条件下实现应用原生（app-native）的多应用执行、如何确保每个模拟公司内角色目标的合理性与轨迹多样性，以及如何准确记录并因果对齐低层级输入事件与界面状态变化等关键难题。

常用场景

经典使用场景

在智能体与图形用户界面交互的研究领域，SynthUX Economy R3数据集为评估和训练计算机使用智能体提供了独特的仿真环境。该数据集记录了模拟公司中36条完整的员工设备操作轨迹，涵盖macOS、Windows及浏览器操作系统环境，每条轨迹均包含自然语言目标、细粒度的鼠标键盘事件流以及对应的屏幕视频和关键帧截图。经典使用场景是将轨迹中的目标与事件序列作为输入，训练或测试智能体理解多步骤任务的能力，例如从目标‘整理季度报表’出发，智能体需要自主规划并执行打开文档编辑器、查找数据、格式化表格等一系列操作，并最终完成目标。这种端到端的仿真数据为开发具备跨应用操作能力的GUI智能体提供了理想的训练与评估基础。

实际应用

在实际应用层面，该数据集所支撑的技术可被部署于企业级自动化工具、智能助手及无障碍辅助系统之中。例如，企业可以利用训练后的智能体自动完成员工入职配置、跨系统数据迁移或标准报告生成等重复性工作，显著提升办公效率。对于视觉障碍用户，从轨迹中学习到的界面操作模式可用于驱动辅助软件自动识别并操作未知布局的应用程序。此外，该数据集包含的跨系统通信场景（如Slack与邮件协同）为开发能够在不同消息平台间协调任务的智能助手提供了参考基础，有望在客服系统、项目管理工具等领域实现更流畅的人机协作。

衍生相关工作

该数据集衍生了一系列具有启发性的研究工作。一方面，研究者基于其‘节点树’结构探索了层次化任务规划，提出了将自然语言目标自动分解为可执行子步骤的框架，并在SynthUX数据上验证了子目标预测的准确率；另一方面，轨迹中保真的低层次输入事件促使了从像素级观测重建操作意图的研究，相关模型学习将屏幕截图映射为具体的鼠标点击位置与键盘输入序列。此外，多公司、多角色的数据配置激发了关于个性化智能体的探索，即针对不同角色（如会计 vs. 开发者）的工作流模式进行迁移学习，从而在保持高层目标一致性的同时适应特定的操作习惯。