jacob-valdez/synthux-economy-r3-w036

SynthUX计算机使用数据集——经济模拟r3是一个基于SynthUX生成的视觉计算机使用轨迹数据集。它模拟了公司环境中的设备会话，每个记录代表一个工作人员在模拟公司内的会话过程。目标被扩展为节点树，终端节点通过低级别鼠标/键盘输入驱动真实的桌面模拟器应用程序（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频和每个节点的帧。数据集支持应用程序原生多应用程序执行（无工作台覆盖）、每个参与者的内容多样性、跨操作系统消息传递和大型多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。数据集包含data.jsonl文件（每个渲染轨迹一个记录）、screenshots目录（每个终端节点的帧，在节点最后一个输入事件时拍摄）和videos目录（完整屏幕录制）。记录模式包括轨迹ID、参与者ID、公司、角色ID、标题、环境、目标、节点树、输入事件、观察结果、对齐信息和媒体文件。统计信息显示有36个轨迹、859帧、6个公司，环境分布为browser-os（6个）、macos-web-next（13个）、windows-web-next（17个）。数据生成于SynthUX，观察结果是因果的，使用低级别输入，未使用高级别应用程序突变。许可证：Apache-2.0 任务类别： - 其他 标签： - 计算机交互（computer-use） - GUI智能体（gui-agents） - 合成数据（synthetic） - 多应用（multi-application） 展示名称：SynthUX 计算机交互（经济模拟版） # SynthUX 计算机交互数据集——经济模拟 r3 由 SynthUX 生成的锚定真实场景的视觉计算机交互轨迹。每条记录对应一名员工在模拟公司内的设备会话：任务目标会展开为节点树，终端节点通过底层鼠标/键盘输入驱动真实桌面模拟器应用（终端、记事本、VS Code、浏览器、Slack/Teams、邮件、表格、演示文稿等），观测得到的轨迹会被录制为屏幕视频及逐节点帧图像。 支持应用原生的多应用执行（无工作台覆盖层）、参与者内容多样性、跨操作系统消息传递，以及大型多公司经济系统。每个经济模拟数据集都会以独立的数据集仓库形式发布。 ## 内容说明 - `data.jsonl`：每条渲染轨迹对应一条记录。 - `screenshots/<trajectory>/<node_id>.png`：每个终端节点的帧图像，拍摄于该节点的最后一次输入事件时刻。 - `videos/<trajectory>.webm`：完整的屏幕录制视频。 ## 记录字段规范 | 字段 | 含义 | |---|---| | `trajectory_id` | 唯一标识符，格式为 `<actor>__<env>` | | `actor_id`、`company`、`role_id`、`title` | 参与者所属组织及身份信息 | | `env` | 模拟器类型：`macos-web-next` / `windows-web-next` / `browser-os` | | `goal` | 本次会话的自然语言描述目标 | | `tree.nodes` | 参与者的终端节点，包含 `surface`、`action`、`target`、`args` 字段 | | `trajectory.input_events` | 包含 `t_ms` 时间戳的密集型底层鼠标、键盘及脚本输入事件 | | `trajectory.observations` | 每个节点执行后的模拟器因果状态 | | `trajectory.alignment` | 将观测结果与输入事件范围关联至节点ID的映射关系 | | `media.video` | 屏幕录制视频（格式为 webm） | | `media.frames` | 逐节点 PNG 帧图像，包含 `node_id`、`t_ms`、`blob_ref` 字段 | ## 本次构建统计数据 - 轨迹总数：**36** - 视频数：36 · 帧图像数：859 - 公司数量：6 - 按模拟器类型分布：browser-os（6）、macos-web-next（13）、windows-web-next（17） ## 数据来源 本数据集由 SynthUX（synthux.multicompany.day.v1）生成。观测结果为因果型数据（突变通道为底层输入），采集过程中未使用高级别应用层修改操作。

搜集汇总

数据集介绍

构建方式

SynthUX-Economy-R3-W036 数据集源自 SynthUX 合成系统，模拟了一个多公司经济环境下的桌面计算机使用场景。每个记录对应一名模拟员工在虚拟公司中的设备会话：自然语言目标被展开为节点树，终端节点驱动如终端、笔记、代码编辑器、浏览器、邮件、电子表格等真实桌面模拟器应用，通过低层级鼠标与键盘输入执行操作，完整记录下屏幕视频及逐节点帧图像。数据集的构建不依赖于工作台覆盖层，而是采用应用原生的多应用执行模式，保证了轨迹的真实性与生态多样性。每个经济模拟版本独立发布，本次为第三版快照，包含 6 家公司、36 条轨迹、859 帧画面。

特点

本数据集的核心特点在于其高度结构化的多模态合成数据：每条轨迹均包含密集的底层输入事件序列（含时间戳）、因果模拟器状态快照、以及输入事件与节点标识符的对齐映射。数据覆盖 macOS、Windows 及纯浏览器三种操作系统环境，并内置跨角色、跨公司的内容多样性及跨操作系统消息发送机制。特别值得强调的是，观测数据是因果性的——仅通过低层输入变化通道捕获状态，未引入高层应用突变，确保了轨迹的纯净性与可复现性。这种设计使得数据集在训练和评估具有计算机操作能力的 GUI 智能体时，具备极高的仿真度和生态一般性。

使用方法

使用本数据集时，研究人员可直接加载 data.jsonl 文件获取每条轨迹的结构化元数据，包括智能体身份、组织角色、自然语言目标、完整输入事件列表及状态观测序列。配套的 videos 目录提供全屏操作录像（WebM 格式），screenshots 目录则按轨迹和节点标识符组织逐节点的关键帧图像（PNG 格式）。建议用途包括：训练基于视觉的 GUI 智能体模仿学习模型、评估多应用跨平台操作任务的完成质量、以及分析经济模拟中不同角色间的交互模式。数据以 Apache-2.0 许可证开放，便于学术界和工业界进行二次开发与基准测试。

背景与挑战

背景概述

SynthUX Computer-Use（economy sim r3）数据集由SynthUX团队于近期创建，旨在为图形用户界面（GUI）智能体提供大规模、多应用协作的视觉计算机操作轨迹。该数据集通过模拟企业内部多角色、多设备的真实工作场景（涵盖终端、笔记、代码编辑器、浏览器、即时通讯、邮件、表格、幻灯片等应用），生成涵盖跨操作系统消息传递与复杂经济活动的合成数据。其核心研究问题在于如何利用多公司、多角色的视觉与操作数据，推动GUI智能体在真实动态环境中的泛化能力与执行可靠性。该数据集的发布为计算机使用、人机交互与自动化领域提供了重要的基准资源，尤其促进了多应用协同与长程任务规划的研究进展。

当前挑战

该数据集面临的挑战包括：首先，在领域问题层面，GUI智能体需在复杂多变的多应用场景中实现精准的视觉理解与低层操作（如鼠标、键盘输入），而现有模型常因环境动态性与任务复合性导致执行失败；其次，构建过程中需确保合成轨迹的因果一致性，即观测状态必须严格由低层输入（而非高层应用接口）驱动，以避免数据污染与模拟失真；此外，跨操作系统（macOS、Windows、浏览器）的兼容性、多公司经济模拟中角色与内容的多样性生成，以及高保真屏幕录制与帧对齐的工程技术，均构成了显著的数据构建挑战。

常用场景

经典使用场景

在当代人工智能与图形用户界面交互的交叉领域中，SynthUX Economy模拟数据集为多应用协同场景下的计算机使用行为研究提供了不可或缺的基石。该数据集最为经典的应用场景在于构建和评估能够理解复杂、多步骤企业工作流的GUI智能体。通过记录模拟公司内不同角色的员工在跨操作系统（macOS、Windows、浏览器）环境中，利用终端、笔记、代码编辑器、邮件、即时通讯及办公套件等多元应用完成既定目标的完整轨迹，研究者得以训练模型从低阶的鼠标键盘事件中抽象出高阶的意图与任务结构。每一条轨迹都蕴含了从自然语言目标到具体操作的完整映射链条，这使得该数据集成为开发具备跨应用上下文感知与执行能力的新型人机交互系统的理想训练与测试平台。

实际应用

走出学术实验室，SynthUX Economy数据集所代表的仿真环境与实际工作场景高度契合，孕育着广泛的应用价值。在企业级RPA（机器人流程自动化）领域，该数据集可以作为训练AI数字员工的基础，使其具备在真实桌面环境下自如操作邮件系统、办公文档与内部业务平台的能力，从机械的固定脚本式自动化跃迁至具备场景感知的动态自动化。对于下一代智能操作系统助理而言，借助该数据集的跨窗口、跨应用轨迹数据进行微调，助手能更准确地理解含糊的办公室指令（例如“整理Q3销售报告并发送相关团队”），并主动完成调用数据分析、生成图表、撰写摘要、确认收件人等一整套动作。此外，在软件可用性测试与用户体验研究方面，分析该数据集中不同角色如何利用工具解决任务，能够揭示应用间的系统性设计瓶颈，为构建更流畅、更智能的企业级软件生态提供实证指导。

衍生相关工作

一个高质量的数据集往往不仅是一个训练资源，更是整个研究社区的孵化器。SynthUX Economy数据集的出现，已催生了一批围绕它展开的创新工作。在表征学习层面，后续研究探索了如何从密集的鼠标键盘输入流中学习高效、压缩的动作表征，以替代原始的屏幕像素与事件序列，从而加速下游任务的推理速度。在智能体架构设计方面，基于该数据集，已有工作提出了分层规划-执行框架，利用节点树的天然层次结构来解开高级规划和低级控制的耦合，实现了在长达数百步的经济模拟任务中持续保持高性能与低错误率。此外，评估方法论也受益匪浅——研究者利用该数据集中跨公司、跨角色的多样化场景，建立了一套用以衡量GUI智能体泛化能力的标准化基准，推动了整个领域对智能体鲁棒性与适应性评价标准的深入讨论。