jacob-valdez/synthux-economy-r2-w018

SynthUX计算机使用数据集——经济模拟r2，是由SynthUX生成的基于视觉的计算机使用轨迹数据集。每个记录代表一个模拟公司环境中工作者的设备会话：目标扩展为节点树，终端节点通过低级鼠标/键盘输入驱动真实桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频和每个节点的帧。该数据集支持应用原生的多应用程序执行（无工作台叠加），具有每个参与者的内容多样性、跨操作系统消息传递和大型多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。内容包括：data.jsonl（每个渲染轨迹一条记录）、screenshots/<trajectory>/<node_id>.png（每个终端节点在最后输入事件时的帧图像）和videos/<trajectory>.webm（完整屏幕录制）。记录模式包括轨迹ID、参与者ID、公司、角色ID、标题、环境、目标、节点树、输入事件、观察结果、对齐信息和媒体引用。统计显示本版本包含36个轨迹、880个帧、6个公司，环境分布为browser-os（13）、macos-web-next（14）和windows-web-next（9）。数据集由SynthUX生成，观察为因果性，捕获过程中未使用高级应用程序突变。许可证：Apache-2.0 任务类别：其他 标签：计算机交互（computer-use）、GUI智能体（GUI agents）、合成数据（synthetic）、多应用（multi-application） 展示名称：SynthUX 计算机交互（经济模拟版） # SynthUX 计算机交互数据集——经济模拟版r2 本数据集包含由SynthUX生成的具备视觉锚定的计算机交互轨迹。每条记录对应一名员工在模拟企业中的设备会话：任务目标会展开为节点树，终端节点通过底层鼠标/键盘输入驱动真实桌面模拟器应用（终端、记事本、VS Code、浏览器、Slack/Teams、邮件、表格、演示文稿等），观测得到的交互轨迹会被录制为屏幕视频，同时附带每个节点的帧画面。 本数据集支持应用原生的多应用执行（无工作台叠加层）、参与者内容多样性、跨操作系统消息传递，以及大型多企业经济系统。每个经济模拟数据集均以独立的数据集仓库形式发布。 ## 数据集内容 - `data.jsonl`：每条记录对应一条渲染完成的交互轨迹。 - `screenshots/<trajectory>/<node_id>.png`：每个终端节点对应的帧画面，拍摄于该节点的最后一次输入事件时刻。 - `videos/<trajectory>.webm`：完整的屏幕录制视频。 ## 记录数据模式 | 字段 | 含义 | |---|---| | `trajectory_id` | 唯一标识符（格式：`<actor>__<env>`） | | `actor_id`、`company`、`role_id`、`title` | 参与者信息及其所属组织 | | `env` | 模拟器环境：`macos-web-next` / `windows-web-next` / `browser-os` | | `goal` | 本次会话的自然语言任务目标 | | `tree.nodes` | 参与者的终端节点（包含`surface`、`action`、`target`、`args`字段） | | `trajectory.input_events` | 包含`t_ms`时间戳的密集型底层鼠标、键盘及脚本输入事件 | | `trajectory.observations` | 每个节点执行后的模拟器因果状态 | | `trajectory.alignment` | 关联观测结果、输入事件范围与节点ID的映射关系 | | `media.video` | 屏幕录制视频（格式为webm） | | `media.frames` | 按节点划分的PNG帧画面（包含node_id、t_ms、blob_ref字段） | ## 数据集统计（当前版本） - 交互轨迹总数：**36** - 视频文件数：36 · 帧画面数：880 - 模拟企业总数：6 - 按环境分布：browser-os（13）、macos-web-next（14）、windows-web-next（9） ## 数据集来源 本数据集由SynthUX（synthux.multicompany.day.v1）生成。观测结果均为因果型数据（数据变更通道为底层输入），采集过程中未使用任何高级别应用层面的修改操作。

搜集汇总

数据集介绍

构建方式

本数据集名为SynthUX Computer-Use (economy sim r2)，由SynthUX系统生成，专注于模拟公司内部员工的桌面操作轨迹。构建过程中，每个工作者的设备会话被置于一个模拟公司环境中：一个自然语言目标被展开成节点树，其中的终端节点通过低层级鼠标与键盘输入驱动真实的桌面模拟应用，包括终端、笔记、代码编辑器、浏览器、即时通讯工具、邮件、电子表格与演示文稿等。整个操作轨迹被记录为屏幕视频及每个节点的帧图像。数据生成采用因果模拟方式，仅通过低层级输入通道进行变异，未使用任何高层应用变异，确保了轨迹的真实性与可复现性。

特点

该数据集的核心特点在于其原生多应用执行环境，无需工作台覆盖层，并支持跨操作系统的消息交互，同时实现了每个角色的内容多样性以及大规模多公司经济模拟。本次发布版本包含36条轨迹、880帧图像，覆盖6家模拟公司，并分布在三种操作系统环境：浏览器操作系统（13条）、macOS Web Next（14条）与Windows Web Next（9条）。每条轨迹均附带完整的低层级输入事件序列、因果模拟状态、节点对齐信息以及屏幕视频和帧图像，为细粒度的GUI代理研究提供了丰富的数据基础。

使用方法

数据集以JSON Lines格式存储于data.jsonl文件中，每条记录对应一个渲染好的操作轨迹。用户可解析记录中的trajectory_id、actor_id、company、goal等字段获取会话上下文，利用tree.nodes字段访问终端节点的动作细节，通过trajectory.input_events获取密集的低层级鼠标、键盘及脚本事件序列及其时间戳。同时，screenshots目录下按轨迹与节点ID组织PNG帧图像，videos目录提供完整屏幕录制视频。该数据集适用于训练与评估基于视觉的计算机使用代理，尤其是在多应用、多公司经济模拟场景下的任务执行与轨迹分析。

背景与挑战

背景概述

SynthUX Computer-Use (economy sim) 数据集诞生于2024年，由SynthUX项目团队开发，旨在解决图形用户界面（GUI）智能代理在复杂多应用环境中的视觉推理与交互问题。该数据集模拟了一个包含多个公司、多种角色（如员工、管理者）的经济体系，通过合成方式生成基于屏幕图像的计算机使用轨迹。其核心创新在于数据完全源自低层级鼠标与键盘输入，并记录了跨操作系统的多应用协作场景，如终端、代码编辑器、浏览器及通讯工具等。作为首个公开的大规模多公司经济模拟GUI交互数据集，它为自主代理在模拟企业环境中的任务规划与执行能力评估提供了标准化基准，显著推动了计算机使用自动化领域的研究进展。

当前挑战

该数据集面临的核心挑战在于多方面的复杂性。在领域问题层面，计算代理需在缺乏高层API接口的情况下，仅依赖屏幕像素与低层级输入来理解并执行跨应用任务，这要求模型具备极强的视觉鲁棒性与长期规划能力。在数据构建层面，合成数据的真实性是一大难题：如何确保模拟公司中每个角色的行为具有多样性且不产生逻辑矛盾。此外，跨操作系统（macOS、Windows、浏览器）的输入控制与屏幕录制同步需要精确的时间戳对齐，而每段轨迹仅36条样本的限制又对数据规模提出了扩展需求。最后，经济模拟中多团队协作的因果状态追踪（如一条消息如何引发后续代码修改）增加了数据标注的复杂性。

常用场景

经典使用场景

在图形用户界面（GUI）智能体研究领域，SynthUX Economy数据集为评估多应用协作场景下的计算机使用能力提供了理想的测试平台。每条数据记录了一名虚拟员工在模拟公司环境中的完整操作轨迹，涵盖终端、笔记、代码编辑器、浏览器、即时通讯、邮件、电子表格及幻灯片等多种桌面级应用。通过低层级鼠标与键盘操作的真实模拟，研究者能够利用该数据集训练和评测GUI智能体在复杂跨应用工作流中的任务执行能力，例如完成财务报告生成、跨平台消息回复与数据同步等典型企业办公场景。

衍生相关工作

围绕SynthUX Economy数据集已衍生出一系列关键研究工作。基于其因果一致的轨迹标注，研究者开发了新型的多模态对齐算法，用于将自然语言指令精确映射到细粒度的鼠标键盘事件序列。同时，该数据集催生了针对跨应用工作流的进度推理与异常检测方法，例如在六家模拟公司、三十六个操作轨迹上训练的分层任务分解模型。此外，利用其跨操作系统原生执行的特性，相关工作在GUI智能体的迁移学习与域适应方面取得了重要突破，为构建通用计算机使用智能体奠定了坚实的实验基础。

数据集最近研究

最新研究方向

该数据集聚焦于合成多应用桌面环境中计算机使用轨迹的生成与模拟，代表了GUI智能体研究的前沿方向。通过模拟完整的企业经济体系，包含跨平台操作系统、多角色分工以及应用间的真实交互（如终端、代码编辑、即时通讯、电子表格等），为训练和评估具备多步骤操作能力的自主智能体提供了高保真基准。这一研究方向与近期AI领域对“计算机使用”智能体的热点探索紧密相关，旨在推动模型从感知能力向细粒度桌面操控的范式跃迁，对于实现跨系统自动化工作流、降低人机交互成本具有重要的基础性意义。