synthux-economy-r5-w051

SynthUX Computer-Use数据集（经济模拟版本r5）是一个基于视觉的计算机使用轨迹数据集，由SynthUX生成，用于模拟公司内部员工在设备上的会话。每个记录代表一个工作者的完整设备会话，其中自然语言目标被扩展为节点树，终端节点通过低级别的鼠标和键盘输入驱动真实的桌面模拟器应用程序，包括终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等。观察到的轨迹被记录为屏幕视频（WebM格式）和每个终端节点的帧（PNG格式）。数据集支持应用原生的多应用程序执行（无需工作台覆盖），具有每个参与者内容多样性、跨操作系统消息传递以及大型多公司经济模拟的特点。每个经济模拟作为独立的数据集仓库发布。数据内容包含一个JSONL文件（每个渲染轨迹一个记录）、截图文件夹（按轨迹和节点ID组织）和视频文件夹（按轨迹组织）。记录模式详细描述了轨迹ID、参与者信息（如ID、公司、角色、标题）、环境（模拟器类型：macos-web-next、windows-web-next或browser-os）、目标、节点树（包括表面、动作、目标、参数）、密集的低级别输入事件（带时间戳）、因果观察结果、对齐信息（链接观察和输入事件范围到节点ID）以及媒体引用（视频和帧）。该构建包含36个轨迹、36个视频、847个帧和6个公司，按环境分布：browser-os（9个）、macos-web-next（14个）、windows-web-next（13个）。数据集适用于计算机使用、GUI代理、合成数据和多应用程序任务的研究与开发，如自动化测试、人机交互模拟或代理训练。The SynthUX Computer-Use dataset (Economic Simulation version r5) is a vision-based computer-use trajectory dataset generated by SynthUX to simulate employee device sessions within companies. Each record represents a complete device session of a worker, where natural language goals are expanded into node trees, with terminal nodes driving real desktop simulator applications—including terminal, notes, VS Code, browser, Slack/Teams, email, spreadsheets, slides, and more—through low-level mouse and keyboard inputs. Observed trajectories are recorded as screen videos (WebM format) and frames per terminal node (PNG format). The dataset supports application-native multi-application execution (without workbench overlays), featuring per-participant content diversity, cross-OS messaging, and large-scale multi-company economic simulations. Each economic simulation is released as an independent dataset repository. Data content includes a JSONL file (one record per rendered trajectory), screenshot folders (organized by trajectory and node ID), and video folders (organized by trajectory). The record schema details trajectory ID, participant information (e.g., ID, company, role, title), environment (simulator type: macos-web-next, windows-web-next, or browser-os), goals, node trees (including surfaces, actions, goals, parameters), dense low-level input events (with timestamps), causal observations, alignment information (linking observation and input event ranges to node IDs), and media references (videos and frames). This build contains 36 trajectories, 36 videos, 847 frames, and 6 companies, distributed across environments: browser-os (9), macos-web-next (14), windows-web-next (13). The dataset is suitable for research and development in computer use, GUI agents, synthetic data, and multi-application tasks, such as automated testing, human-computer interaction simulation, or agent training.

原始信息汇总

数据集概述

SynthUX Computer-Use 数据集 — economy sim r5 是一个合成生成的、基于视觉的计算机使用轨迹数据集，模拟了模拟公司中员工在桌面系统上的操作过程。

数据内容

• 文件结构：
  • data.jsonl：每条记录对应一个渲染的轨迹。
  • screenshots/<trajectory>/<node_id>.png：每个终端节点在最后一次输入事件时的帧图像。
  • videos/<trajectory>.webm：完整的屏幕录制视频。

记录字段

字段名	含义
trajectory_id	唯一标识（格式：<actor>__<env>）
actor_id, company, role_id, title	人员身份、所属公司、角色、职务
env	模拟器类型：macos-web-next / windows-web-next / browser-os
goal	本次会话的自然语言目标
tree.nodes	终端节点列表（包含 surface、action、target、args）
trajectory.input_events	密集的低级鼠标/键盘/脚本事件，含时间戳 t_ms
trajectory.observations	每个节点后的因果模拟器状态
trajectory.alignment	将观察结果和输入事件范围链接到节点ID
media.video	屏幕录制（webm格式）
media.frames	每个节点的PNG帧（含节点ID、时间戳、Blob引用）

数据集统计（本版本）

• 轨迹总数：36
• 视频数量：36，帧数量：847
• 公司数量：6
• 按模拟器环境分布：browser-os（9条）、macos-web-next（14条）、windows-web-next（13条）

数据来源

• 使用 SynthUX 生成（版本：synthux.multicompany.day.v1）。
• 观察结果是因果性的（突变通道为 low_level_input），捕获过程中未使用高层应用突变。

搜集汇总

数据集介绍

构建方式

本数据集源自SynthUX框架，旨在生成基于真实桌面环境的计算机使用轨迹。在构建过程中，每个记录对应一名模拟公司员工的一次设备会话，其核心机制为：从自然语言目标出发，扩展为一棵行为节点树，终端节点通过低层级的鼠标与键盘输入驱动原生桌面模拟器应用——涵盖终端、笔记、代码编辑器、浏览器、即时通讯、邮件、电子表格及演示文稿等多类办公软件。整个执行过程完全在应用原生环境中完成，无需工作台覆盖层，并通过屏幕视频与逐节点帧图像捕捉完整操作轨迹。该模拟采用因果观察机制，仅依赖低层级输入事件作为状态变更通道，避免了高层应用操作的干扰，确保了数据生成的纯净性与可复现性。

特点

该数据集突出体现了多项独特属性：其一为多应用原生执行环境，摒弃了常见的虚拟叠加方式，使得每个操作均真实作用于桌面应用界面；其二为跨操作系统通信能力，覆盖macOS与Windows两大平台的Web仿真环境；其三为多公司经济体模拟，本构建版本包含6家公司、36条完整轨迹，共847帧图像，展现了丰富的组织间交互场景。此外，每条轨迹均包含稠密的低层级输入事件序列（含时间戳）、因果状态记录、观察结果与节点ID的映射关系，以及完整的屏幕录像与每节点关键帧图像。这种多层次、多模态的数据结构，为复现和理解计算机使用行为提供了全面而精细的素材支撑。

使用方法

数据集以标准格式存储，便于研究者直接调用。主文件data.jsonl包含每条渲染轨迹的完整记录，其字段涵盖轨迹唯一标识、参与者及所属公司与角色信息、仿真环境类型、自然语言目标、行为节点树（含表面元素、操作类型、目标对象与参数）、密集输入事件序列及时序、因果观察状态、观察与输入事件到节点ID的对齐映射，以及媒体文件引用。图像与视频资源分别存放于screenshots与videos目录中，其中每终端节点对应一张PNG帧图像，每条轨迹对应一段WebM格式屏幕录像。研究者可通过遍历JSON记录、加载对应媒体文件，轻松复现用户的计算机操作过程，进而开展GUI代理训练、行为分析或多应用交互研究等工作。

背景与挑战

背景概述

SynthUX Computer-Use (economy sim)数据集诞生于大语言模型与图形用户界面代理（GUI Agents）交叉研究的前沿领域，由SynthUX团队于近期开发，专注于合成多应用计算机操作轨迹的生成。该数据集的核心研究问题在于模拟真实企业环境中多角色、跨应用的桌面操作行为，以弥补现有数据集在复杂多任务交互场景下的空白。通过构建包含6家公司、36条操作轨迹和847帧屏幕截图的仿真经济环境，数据集为训练和评估基于视觉的计算机使用代理提供了高保真、可扩展的基准资源，对推动自主代理在办公自动化、企业软件交互等实际应用中的发展具有重要影响力。

当前挑战

该数据集面临的挑战首先在于解决多应用协同操作领域的问题，现有数据集多聚焦于单一应用或简化任务，难以捕捉真实工作流中跨操作系统消息、多窗口切换和角色协作的复杂性，而SynthUX通过模拟完整的企业经济环境来逼近这一挑战。构建过程中遇到的挑战则包括：生成低层级鼠标/键盘输入与高层语义目标之间的精确对齐，确保轨迹的因果一致性；在合成数据中保持不同智能体间的内容多样性，避免模式重复；以及实现macOS、Windows和浏览器三套桌面仿真环境的统一执行，同时保证屏幕录制与节点帧的时间同步精度达毫秒级。

常用场景

经典使用场景

SynthUX Economy模拟数据集专注于多应用协同的图形界面智能体研究，其核心使用场景在于为计算机使用智能体提供细粒度、多模态的轨迹数据。研究人员可利用该数据训练模型理解自然语言目标如何映射为跨应用、跨操作系统的低层级鼠标键盘操作序列，例如在虚拟公司场景中完成财务数据录入、邮件回复、代码修改与团队通讯的连贯任务。该数据集通过模拟真实组织架构与角色分工，支持探究多步推理、界面状态因果追踪以及错误恢复等高级能力的习得，为构建能自主操作复杂商业软件栈的下一代GUI智能体奠定了数据基础。

衍生相关工作

围绕SynthUX Economy数据集已衍生出一系列前沿研究方向，包括基于因果状态对齐的GUI智能体评估框架、跨应用任务规划的端到端强化学习方法，以及利用回放视频与动作日志的逆强化学习模型。相关学术工作通常聚焦于如何从细粒度操作序列中抽象出高层任务结构、设计奖励函数以鼓励多步规划中的错误容错行为，以及构建基于Sim2Real迁移的跨公司、跨角色泛化策略。这些工作共同构建了一个从数据采集、模型训练到场景验证的完整研究生态，持续推动着计算机使用智能体领域向更高自主性与更广泛实用性的方向演进。

数据集最近研究

最新研究方向

SynthUX经济模拟数据集代表了图形用户界面（GUI）智能体研究的前沿突破，通过模拟多公司、跨操作系统的桌面操作环境，构建了从自然语言目标到低层级鼠标键盘操作的完整执行链路。该数据集融合了合成轨迹生成与多应用协同操作技术，为金融科技领域的智能流程自动化提供了高保真训练数据。在当前AI Agent与数字劳动力深度融合的热潮下，该研究推动了GUI智能体从单任务执行向多实体、跨平台经济生态模拟的跃迁，其每轮模拟记录的36条轨迹覆盖6家虚拟公司，囊括终端、代码编辑器、浏览器及办公套件等核心应用场景，为开发可迁移、可复现的鲁棒性智能体系统奠定了数据基础，对降低企业数字化转型中的人机交互门槛具有里程碑意义。