jacob-valdez/synthux-economy-r1-w002

SynthUX计算机使用数据集—经济模拟r1是一个由SynthUX生成的基于视觉的计算机使用轨迹数据集。每个记录代表一个工作人员在模拟公司内的设备会话：一个目标扩展为节点树，终端节点通过低级别的鼠标/键盘输入驱动真实的桌面模拟器应用程序（如Terminal、Notes、VS Code、Browser、Slack/Teams、Mail、Sheets、Slides等），观察到的轨迹被记录为屏幕视频和每个节点的帧。该数据集支持应用程序原生的多应用程序执行（无工作台覆盖）、每个参与者的内容多样性、跨操作系统消息传递以及大型多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。许可证：Apache-2.0 任务类别： - 其他 标签： - 计算机交互（computer-use） - GUI智能体（GUI agents） - 合成数据（synthetic） - 多应用（multi-application） 展示名称：SynthUX计算机交互（经济模拟版） --- # SynthUX计算机交互数据集——经济模拟版r1 由SynthUX生成的锚定式视觉计算机交互轨迹。每条记录对应一名员工在模拟企业中的设备会话：任务目标会展开为节点树，终端节点通过底层鼠标/键盘输入驱动真实桌面模拟器应用（终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），记录的交互轨迹包含屏幕视频及各节点的帧画面。 支持应用原生的多应用执行（无工作台覆盖层）、参与主体的内容多样性、跨操作系统消息传递以及大型多企业经济系统。每个经济模拟数据集都会作为独立的数据集仓库发布。 ## 内容说明 - `data.jsonl` — 每条渲染轨迹对应一条记录。 - `screenshots/<trajectory>/<node_id>.png` — 每个终端节点的帧画面，采集于该节点的最后一次输入事件时刻。 - `videos/<trajectory>.webm` — 完整的屏幕录制视频。 ## 记录模式 | 字段 | 含义 | |---|---| | `trajectory_id` | 唯一标识符（格式：`<actor>__<env>`） | | `actor_id`, `company`, `role_id`, `title` | 参与主体、所属组织及岗位信息 | | `env` | 模拟器环境：`macos-web-next` / `windows-web-next` / `browser-os` | | `goal` | 本次会话的自然语言任务目标 | | `tree.nodes` | 参与主体的终端节点（包含`surface`、`action`、`target`、`args`字段） | | `trajectory.input_events` | 包含时间戳`t_ms`的密集型底层鼠标、键盘及脚本输入事件 | | `trajectory.observations` | 各节点执行后的模拟器因果状态 | | `trajectory.alignment` | 将观测结果与输入事件范围关联至节点ID的映射关系 | | `media.video` | 屏幕录制视频（格式为webm） | | `media.frames` | 各节点的PNG帧画面（包含node_id、t_ms、blob_ref字段） | ## 本版本统计数据 - 交互轨迹总数：**36** - 视频文件数：36 · 帧画面数：767 - 企业总数：6 - 按环境分布：browser-os（4）、macos-web-next（10）、windows-web-next（22） ## 数据来源 本数据集由SynthUX（synthux.multicompany.day.v1）生成。观测结果为因果型数据（数据变更通道为底层输入）；采集过程中未使用高级别应用层修改操作。

搜集汇总

数据集介绍

构建方式

该数据集基于SynthUX框架生成，专注于模拟公司环境中的计算机使用轨迹。每条记录对应一名员工在模拟企业内的设备会话过程：初始目标被逐步展开为一棵节点树，终端节点通过低层级鼠标和键盘操作驱动真实的桌面模拟器应用程序，包括终端、笔记、VS Code、浏览器、即时通讯、邮件、表格和幻灯片等。整个执行过程原生运行于多应用环境中，无覆盖式工作台干预，轨迹以屏幕视频及逐节点帧图的形式完整捕获。观测数据基于因果输入通道记录，确保低层级操作与状态变化的严格对应。

使用方法

数据集提供三种核心媒体文件：data.jsonl存储每条轨迹的结构化记录，包含会话ID、参与者信息、环境类型、目标描述、节点树、低层级操作事件及观测状态；screenshots文件夹按轨迹和节点ID组织PNG帧图像；videos文件夹存放完整屏幕录制的WebM视频。用户可通过解析JSON行文件获取轨迹的完整因果链，结合帧图像与视频进行可视分析，适用于GUI代理训练、人机交互研究及多应用任务推理等场景。

背景与挑战

背景概述

SynthUX经济模拟数据集（synthux-economy-r1-w002）诞生于智能体与图形用户界面交互研究的前沿领域，由SynthUX团队于近期创建，旨在填补多应用协同桌面操作场景下高质量轨迹数据的空白。该数据集围绕一个核心研究问题展开：如何通过合成数据生成真实、可复现的计算机使用过程，以训练和评估能够跨多种应用程序（如终端、代码编辑器、浏览器、通讯软件及办公套件）自主完成复杂经济任务的GUI智能体。通过模拟多公司经济体中的员工设备会话，数据集提供了36条完整的操作轨迹，涵盖macOS、Windows及浏览器三种环境，为计算机交互智能体研究提供了前所未有的细粒度、多模态标注资源，有望推动自动化和人机协作领域的范式革新。

当前挑战

该数据集所面临的挑战首先体现在领域问题的复杂性：传统的智能体研究多聚焦于单一应用或简化界面，而真实世界的计算机使用涉及多个原生应用程序之间的动态切换与数据流转，要求智能体具备跨应用上下文理解、低级别操作协调及长时序规划能力，现有模型对此仍力有未逮。构建过程中亦遇重重困难，包括如何生成具有内容多样性和角色区分度的合成用户行为、如何在无高层应用变异的前提下保持模拟的因果一致性、以及如何高效采集包含鼠标键盘事件与屏幕视频的密集型多模态数据——每一环节均需精心设计以确保数据集的生态有效性和可扩展性。

常用场景

经典使用场景

在计算机使用智能体（Computer-Use Agent）研究领域，SynthUX Economy R1 数据集被广泛用作多应用协同操作场景下的闭环评估基准。该数据集记录了模拟公司中不同角色员工在多个操作系统环境下的完整操作轨迹，包含终端、笔记、代码编辑器、浏览器、即时通讯、邮件、表格与幻灯片等桌面应用的跨应用任务执行片段。研究者借助该数据集的密集低层输入事件、因果观测状态以及逐节点截图，能够训练和评测智能体在复杂多应用环境中的目标分解、子任务规划与细粒度操作的端到端能力。

解决学术问题

该数据集针对当前图形用户界面（GUI）智能体缺乏大规模、多应用耦合的真实操作轨迹这一问题，填补了学术空白。传统数据集多聚焦于单一应用内的指令跟随或单步界面定位，而SynthUX模拟了跨公司、跨角色、跨操作系统（macOS、Windows、浏览器）的多主体经济协作场景，使得研究者得以系统性地探究智能体在多应用信息流转换、上下文切换与重叠任务管理中的规划鲁棒性。这一贡献推动了从简单指令执行向复杂工作流自主完成的研究范式转变，显著提升了计算机使用自动化的可复现评估水平。

实际应用

在实际应用层面，该数据集支撑了企业级数字助手和自动化办公系统的开发与验证。例如，企业可基于其中的跨应用任务模板训练智能客服机器人，使其能够在邮件、即时通讯与文档协作平台间无缝协调任务；软件测试团队可利用密集的低层输入事件序列自动生成回归测试用例，提升GUI自动化测试覆盖率。此外，模拟的多公司经济体环境为金融、咨询等行业中涉及多角色协作、信息同步与审批流程的数字孪生场景提供了可工程化的数据基准。

数据集最近研究

最新研究方向

当前，图形用户界面代理的自主化与多应用协同执行成为计算机交互领域的前沿热点。SynthUX Economy R1数据集通过模拟真实企业环境的全栈桌面操作轨迹，为多主体经济仿真与GUI代理研究提供了高保真视觉-行为数据资源。该数据集跨越macOS、Windows及浏览器三大模拟环境，涵盖终端、编辑器、通信与办公套件等多应用原生操作，致力于突破传统基于工作台覆盖的简化代理范式的局限。在大型语言模型驱动的智能体正涌现为跨应用任务执行核心的背景下，SynthUX Economy R1以公司级经济模拟为观测框架，捕捉丰富的个体角色多样性与组织间信息流，为构建具备复杂场景泛化能力的GUI代理提供了稀缺的训练与评估基准。其每一条轨迹均完整记录低层级鼠标键盘事件与屏幕视频，有望催生更精准的视觉行为对齐方法与多步操作策略学习，推动工业级电脑使用智能体从研究原型向实际部署迈进。