jacob-valdez/synthux-economy-r3-w000

SynthUX计算机使用数据集（经济模拟r3）是一个由SynthUX生成的基于视觉的计算机使用轨迹数据集。每个记录模拟了一个公司环境中工作者的设备会话：目标扩展成节点树，终端节点通过低级别鼠标/键盘输入驱动真实的桌面模拟器应用程序（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频和每个节点的帧。数据集支持应用原生多应用程序执行（无工作台覆盖），具有每个演员的内容多样性、跨操作系统消息传递和大型多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。数据集包含36个轨迹、6个公司，环境包括browser-os、macos-web-next和windows-web-next。许可证：Apache-2.0 任务类别： - 其他 标签： - 计算机交互（computer-use） - GUI智能体（gui-agents） - 合成数据（synthetic） - 多应用（multi-application） 正式名称：SynthUX计算机交互数据集（经济模拟版） # SynthUX计算机交互数据集——经济模拟版r3 本数据集由SynthUX生成，包含基于真实场景的可视化计算机交互轨迹。每条记录对应一名员工在模拟企业中的设备会话：用户目标被拆解为节点树，终端节点通过底层鼠标/键盘输入驱动真实桌面模拟器应用（终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、演示文稿等），采集到的交互轨迹将被保存为屏幕录像及各节点的帧图像。 该数据集支持应用原生的多应用执行模式（无工作台覆盖层），具备角色级内容多样性、跨操作系统消息传递能力，以及大规模多企业经济模拟特性。每个经济模拟数据集均以独立的数据集仓库发布。 ## 数据集内容 - `data.jsonl` — 每条渲染后的交互轨迹对应一条记录。 - `screenshots/<trajectory>/<node_id>.png` — 每个终端节点的帧图像，采集于该节点的最后一次输入事件时刻。 - `videos/<trajectory>.webm` — 完整屏幕录像。 ## 记录结构 | 字段 | 含义 | |---|---| | `trajectory_id` | 唯一标识符，格式为`<actor>__<env>` | | `actor_id`、`company`、`role_id`、`title` | 标识参与会话的人员及其所属组织 | | `env` | 模拟器环境，可选值为`macos-web-next` / `windows-web-next` / `browser-os` | | `goal` | 会话对应的自然语言描述目标 | | `tree.nodes` | 参与会话的终端节点，包含`surface`、`action`、`target`、`args`字段 | | `trajectory.input_events` | 包含时间戳`t_ms`的高密度底层鼠标、键盘及脚本输入事件 | | `trajectory.observations` | 每个节点执行完成后的模拟器因果状态 | | `trajectory.alignment` | 用于关联观测状态、输入事件范围与节点ID的映射 | | `media.video` | 屏幕录像文件，格式为webm | | `media.frames` | 各节点的PNG帧图像，包含`node_id`、`t_ms`、`blob_ref`字段 | ## 本次构建统计信息 - 交互轨迹总数：**36** - 录像文件数：36 · 帧图像数：828 - 参与企业数：6 - 按环境分布：browser-os（15）、macos-web-next（11）、windows-web-next（10） ## 数据来源 本数据集由SynthUX（版本synthux.multicompany.day.v1）生成。观测数据为因果型数据（状态变更通道为底层输入），采集过程中未使用任何高级应用级别的状态修改操作。

搜集汇总

数据集介绍

构建方式

本数据集基于SynthUX框架生成，模拟了一个多公司经济体中的计算机使用场景。每个记录对应一名员工在模拟公司内的设备会话，系统首先将自然语言目标扩展为节点树，终端节点通过低层级鼠标、键盘及脚本输入驱动模拟桌面应用（如终端、记事本、VS Code、浏览器、Slack/Teams、邮件、表格、演示文稿等），最终将观测轨迹记录为屏幕视频与逐节点图像帧。数据构建过程中未采用高等级应用内部变异，仅依赖低层级输入通道实现因果状态变化，确保了轨迹的真实性与一致性。

特点

本数据集的核心特点在于其多应用、多公司、跨操作系统的视觉计算机使用轨迹集合。每条轨迹包含完整的低层级输入事件序列（含时间戳）、因果模拟器状态以及精确的节点对齐信息。数据覆盖macOS、Windows与浏览器三大模拟环境，共计36条轨迹、828帧图像，跨越6个虚拟公司，实现了每工作角色内容多样性与跨平台消息传递的复杂交互场景，为计算机使用智能体研究提供了高保真度的训练与评估资源。

使用方法

本数据集以标准格式提供，主文件data.jsonl包含每条渲染轨迹的完整记录，用户可通过trajectory_id等字段快速检索。轨迹中的低层级输入事件与节点对齐信息可直接用于序列决策模型训练，而每节点的PNG帧与全屏视频（webm格式）则支持视觉感知与多模态融合任务。研究人员可基于经济模拟的特定角色、公司或操作系统环境进行子集划分，也可利用因果观察状态进行环境建模与智能体评估。

背景与挑战

背景概述

随着图形用户界面（GUI）代理技术从单一应用操作迈向跨应用、跨系统的复杂企业场景，构建能够模拟真实办公环境的多应用协同数据集成为研究的关键瓶颈。2024年推出的SynthUX Computer-Use Dataset（economy sim r3）由专注于合成数据生成的研究团队开发，旨在通过模拟公司内部多角色、多应用的计算机使用轨迹，填补现有数据集中于静态截图或单任务操作的局限。该数据集以“经济模拟”为框架，每个记录对应一位员工在虚拟公司内的设备会话，涵盖打字、浏览、代码编辑、邮件收发、表格处理等多种终端节点操作，并附带完整屏幕视频与帧级截图。其核心研究问题是如何在无人工标注的情况下，生成具备因果一致性与内容多样性的多应用交互数据，从而推动GUI代理在复杂企业环境中的泛化能力与鲁棒性。

当前挑战

该数据集面临多重挑战。领域问题层面，现有GUI代理模型多局限于单应用任务（如浏览器内导航），缺乏跨应用、跨操作系统（macOS、Windows、浏览器OS）的连续交互能力，而真实企业场景要求代理同时处理多个应用间的数据流转与指令协调，这对轨迹的语义一致性与动作因果关系提出了严苛要求。构建过程中，团队需解决合成数据生成的两个核心难点：一是如何通过低层级鼠标键盘事件而非高层级API指令来驱动模拟器，以保留真实的输入噪声与操作延迟；二是如何在多公司、多角色、多应用的混合环境中维持每个员工的角色一致性（如不同权限下的可用应用组合），同时保证生成轨迹不因重复模式而降低多样性，最终仅通过36条有效轨迹即需覆盖6家公司的异构工作流。

常用场景

经典使用场景

在智能体与图形用户界面交互的研究领域，SynthUX经济模拟数据集为多应用协同环境下的计算机使用任务提供了高保真的训练与评估平台。该数据集通过模拟公司内部员工的真实设备操作流程，记录了从自然语言目标到终端节点执行的完整轨迹，涵盖终端、笔记、代码编辑器、浏览器、即时通讯、邮件、电子表格和演示文稿等多类桌面应用。每个轨迹不仅包含低层级的鼠标键盘事件序列，还附带了全屏屏幕录像与逐节点截图，使得研究者能够以视觉和时序双重维度探究智能体在复杂界面中的感知与决策过程。其经典使用场景包括：在模拟企业经济活动中训练GUI智能体完成跨应用协作任务，例如根据邮件指令整理报表并通过通讯工具发送结果，以及评估模型在多步骤、多窗口操作下的泛化能力与鲁棒性。

衍生相关工作

围绕SynthUX经济模拟数据集，学术界与工业界已催生出若干具有启发意义的后续工作。在基准测试方面，研究者借鉴其多公司多角色的记录结构，构建了跨组织的GUI任务排序与评估框架，推动了现有智能体在零样本设置下的泛化能力评测。在模型训练层面，部分工作受该数据集启发，设计了基于因果状态树的目标分解算法，使智能体能够学习从高层语义目标逐层推导至具体界面操作的可解释策略。在数据增强领域，该数据集的轨迹生成范式被扩展至金融、医疗与教育等垂直行业的模拟环境中，进一步丰富了GUI智能体的训练生态。值得注意的是，其多应用联合操作与低层级事件对齐的设计理念，已被后续数个大规模计算机使用数据集采纳为核心标注格式，成为该领域事实上的数据规范之一。

数据集最近研究

最新研究方向

SynthUX Economy数据集聚焦于多应用协同的图形用户界面（GUI）智能体研究，通过模拟多公司经济体系内的计算机操作轨迹，为前沿的‘计算机使用’（Computer-Use）智能体提供高保真、多模态的训练与评测数据。当前研究热点在于如何利用此类合成数据训练能够执行复杂跨应用任务（如终端、浏览器、办公套件等）的视觉语言模型，以应对真实世界中的企业级自动化场景。该数据集通过记录从自然语言目标到低层鼠标/键盘事件的完整因果轨迹，并配合屏幕视频与逐帧截图，显著推动了可泛化UI智能体的落地。其多公司、多角色、多操作系统的设计，与大模型驱动的智能体热点事件紧密关联，为构建可靠、可审计的自动化助手奠定了数据基础，在工业界和学术界均具有深远意义。