jacob-valdez/synthux-economy-r3-w034

SynthUX计算机使用数据集是一个合成数据集，专注于视觉计算机使用轨迹的生成。每个记录模拟了一个工作者在虚拟公司环境中的设备会话：一个目标被扩展为节点树，终端节点通过低级别鼠标和键盘输入驱动真实的桌面模拟器应用程序（包括终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频以及每个节点的帧。该数据集支持应用原生多应用程序执行（无工作台覆盖），具有每个参与者内容的多样性、跨操作系统消息传递和大型多公司经济模拟功能。每个经济模拟作为独立的数据集仓库发布。数据集包含data.jsonl文件（每个渲染轨迹一条记录）、screenshots目录（每个终端节点的帧，在节点的最后一个输入事件时捕获）和videos目录（完整的屏幕录制）。记录模式包括轨迹ID、参与者信息、环境、目标、节点树、输入事件、观察、对齐以及媒体引用等字段。统计显示有36个轨迹、853帧和6个公司，分布在browser-os、macos-web-next和windows-web-next环境中。数据集由SynthUX生成，观察基于因果模拟（突变通道为低级别输入），捕获过程中未使用高级别应用程序突变。许可证: Apache-2.0 协议 任务类别: - 其他 标签: - 计算机交互 - GUI智能体（GUI Agents） - 合成数据 - 多应用 展示名称: SynthUX 计算机交互（经济模拟版） # SynthUX 计算机交互数据集 — 经济模拟 r3 由SynthUX生成的锚定视觉计算机交互轨迹。每条记录对应一名工作者在模拟公司内的设备会话：会话目标会展开为节点树，终端节点通过底层鼠标/键盘输入驱动真实桌面模拟器应用（终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观测得到的轨迹会被记录为屏幕视频及各节点帧。 支持应用原生多应用执行（无工作台覆盖层）、参与者内容多样性、跨操作系统消息传递以及大型多公司经济系统。每个经济模拟数据集均会作为独立的数据集仓库发布。 ## 内容说明 - `data.jsonl`：每条记录对应一条渲染后的交互轨迹。 - `screenshots/<trajectory>/<node_id>.png`：每个终端节点的帧图像，拍摄于该节点的最后一次输入事件时刻。 - `videos/<trajectory>.webm`：完整屏幕录制视频。 ## 记录模式 | 字段 | 含义 | |---|---| | `trajectory_id` | 唯一标识符（格式：`<actor>__<env>`） | | `actor_id`、`company`、`role_id`、`title` | 参与者所属组织及身份信息 | | `env` | 模拟器环境：`macos-web-next` / `windows-web-next` / `browser-os` | | `goal` | 本次会话的自然语言目标描述 | | `tree.nodes` | 参与者的终端节点（包含`surface`、`action`、`target`、`args`字段） | | `trajectory.input_events` | 包含时间戳`t_ms`的密集型底层鼠标、键盘及脚本事件序列 | | `trajectory.observations` | 每个节点执行完成后的模拟器因果状态 | | `trajectory.alignment` | 用于将观测结果与输入事件范围关联至节点ID的映射关系 | | `media.video` | 屏幕录制视频（格式为webm） | | `media.frames` | 各节点的PNG帧数据（包含node_id、t_ms、blob_ref字段） | ## 本次构建统计数据 - 交互轨迹总数：**36** - 视频数量：36 · 总帧数：853 - 参与公司数量：6 - 按环境分布：browser-os（8条）、macos-web-next（13条）、windows-web-next（15条） ## 数据集溯源 本数据集由SynthUX（synthux.multicompany.day.v1）生成。观测结果基于因果逻辑（数据更新通道为底层输入事件）；采集过程中未使用任何高层级应用修改操作。

搜集汇总

数据集介绍

构建方式

该数据集由SynthUX框架生成，专注于模拟企业环境中多应用的图形用户界面操作轨迹。每条记录代表一名工作者在模拟公司内部的设备会话，其构建流程始于一个自然语言目标，该目标被展开为一棵节点树，终端节点驱动真实的桌面模拟器应用（如终端、笔记、代码编辑器、浏览器、即时通讯工具、邮件、表格和幻灯片等）执行底层鼠标与键盘输入。观察到的操作轨迹被记录为屏幕视频与每节点帧图，确保数据因果性由低层输入通道驱动，而非高层应用突变。

特点

数据集的核心特点在于其应用原生的多应用执行方式，无覆盖层干扰，保证了操作轨迹的生态学效度。每参与者内容多样化、跨操作系统消息交互，以及大规模多公司经济体模拟，构成了其独特的结构属性。本构建版本包含36条轨迹、853帧画面和6个公司实体，覆盖三种模拟环境，即浏览器操作系统、macOS网页下一代和Windows网页下一代，为多应用协作研究提供了丰富的实验材料。

使用方法

数据集以JSON Lines格式存储于data.jsonl文件中，每条记录包含轨迹标识符、参与者身份、公司归属、角色信息、自然语言目标、节点树结构、底层输入事件序列、因果观察状态、对齐映射关系以及媒体文件引用。用户可通过遍历JSON记录解析轨迹数据，参照screenshots目录下的PNG帧图和videos目录下的WebM全屏录像进行可视化分析。适用于训练和评估基于视觉的GUI代理模型，特别在多步骤跨应用任务场景中表现突出。

背景与挑战

背景概述

在图形用户界面（GUI）代理与计算机使用自动化领域，如何生成真实、多样且结构化的视觉轨迹数据以训练自主系统，始终是研究的关键瓶颈。SynthUX-economy-r3-w034数据集由SynthUX团队于近期创建，旨在通过模拟多公司经济环境，生成基于真实桌面应用的计算机使用轨迹。该数据集的构建围绕一个核心研究问题：能否在无需人工标注的前提下，通过多代理经济模拟产生大规模、多应用、跨操作系统的结构化操作数据？每个记录代表一位员工在模拟公司中的设备会话，涵盖终端、代码编辑器、浏览器、邮件及办公套件等多种应用，并以屏幕视频和逐节点帧的形式保存完整轨迹。这一创新范式为GUI代理研究提供了前所未有的数据支撑，尤其在多应用协同和跨平台交互场景下具有重要影响力，推动了计算机使用自动化迈向更真实的泛化能力。

当前挑战

当前数据集面临多重挑战。首先，其旨在解决的领域问题在于：现有GUI代理数据集多依赖人工录制或受限模拟器，缺乏真实场景中的多应用交替与跨操作系统交互能力。SynthUX通过经济模拟引入角色多样性与内容差异，但如何确保生成轨迹在操作逻辑和决策树上的合理性，仍是一个棘手的平衡点——过度模拟可能导致数据偏离真实用户行为，而过度约束则会丧失多样性。其次，构建过程中存在技术挑战：低层次鼠标/键盘事件的因果一致性难以保证，尤其是在跨应用消息传递和复杂状态追踪时，任何输入错位都会污染整个轨迹。此外，多公司、多角色的差异化设置增加了数据对齐和标注的复杂度，每节点帧需精准捕获末次输入事件，这对仿真环境的时间精度提出了极高要求。

常用场景

经典使用场景

该数据集专为探索多应用程序、多用户协同环境下的图形用户界面（GUI）智能体行为而设计。其经典使用场景聚焦于模拟企业内部不同角色的工人在多应用切换中的复杂计算机操作轨迹，涵盖终端、笔记、代码编辑器、浏览器、即时通讯、邮件及办公套件等，记录从高层自然语言目标到低层鼠标键盘事件的完整降级过程，为研究GUI智能体的感知、规划与执行能力提供了高保真、细粒度的实验基准。

解决学术问题

该数据集有效填补了现有计算机使用研究中缺乏真实多任务、跨应用、多智能体协同轨迹数据的空白。它解决了如何建模复杂数字工作流中的意图分解与原子操作映射问题，以及不同操作系统环境下GUI智能体的泛化性评估问题。通过提供因果对齐的输入事件与观测状态，推动了对智能体内部决策过程的可解释性研究，为构建更鲁棒、通用的自主计算机操作模型奠定了数据基础，显著提升了学术研究在真实工作场景中的可迁移性。

衍生相关工作

该数据集的发布催生了一系列关于多步骤GUI任务规划与长程操作依从性建模的研究工作。相关衍生工作包括基于该数据构建的层级目标分解模型，实现了将自然语言指令自动拆解为可执行的原子操作序列；以及利用其中跨应用消息流开发的智能体协同框架，提升了多智能体在共享数字环境中的冲突解决能力。此外，其因果对齐特性被用于训练逆向动力学模型，推动了屏幕视频理解与操作克隆的交叉领域进展，形成了从数据到方法论的良性创新循环。