jacob-valdez/synthux-economy-r4-w007

SynthUX计算机使用数据集——经济模拟版本r4，是一个由SynthUX生成的基于视觉的计算机使用轨迹数据集。该数据集模拟了公司环境中的工作会话：每个记录代表一个工作者在模拟公司设备会话中的轨迹，其中目标扩展为节点树，终端节点通过低级鼠标/键盘输入驱动真实桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频和每个节点的帧。数据集支持应用程序原生的多应用程序执行（无工作台覆盖）、每个参与者的内容多样性、跨操作系统消息传递以及大型多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。数据集包含data.jsonl文件（每个渲染轨迹一个记录）、screenshots目录（每个轨迹的每个终端节点帧，在节点最后一个输入事件时捕获）和videos目录（完整屏幕录制视频）。记录模式包括轨迹ID、参与者信息、环境、目标、节点树、输入事件、观察结果、对齐信息和媒体文件。本版本包含36个轨迹、986帧、6家公司，环境分布为browser-os（8个）、macos-web-next（15个）、windows-web-next（13个）。数据集由SynthUX生成，观察结果是因果的，使用低级输入，未使用高级应用程序突变。SynthUX Computer-Use Dataset — economy sim r4 is a dataset of grounded visual computer-use trajectories generated by SynthUX. Each record represents one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. The dataset features app-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo. It includes data.jsonl (one record per rendered trajectory), screenshots directory (a frame per terminal node, taken at that nodes last input event), and videos directory (the full screen recording). The record schema includes trajectory_id, actor information, environment, goal, tree.nodes, trajectory.input_events, trajectory.observations, trajectory.alignment, and media files. This build contains 36 trajectories, 986 frames, 6 companies, with environments: browser-os (8), macos-web-next (15), windows-web-next (13). Generated with SynthUX, observations are causal (mutation channel = low_level_input); no high-level app mutation is used during capture.

搜集汇总

数据集介绍

构建方式

本数据集基于SynthUX框架构建，旨在模拟企业内部多应用环境下的计算机使用轨迹。每条记录对应一名员工在模拟公司中的设备会话：一个自然语言目标被扩展为节点树，终端节点通过底层鼠标与键盘输入驱动真实的桌面模拟应用程序（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），并记录完整的屏幕视频及每节点静态帧作为观测轨迹。数据生成采用因果模拟机制，仅依靠底层输入突变通道，避免高层应用干扰，确保轨迹的真实性与可复现性。

特点

该数据集的核心特点在于其多应用原生执行与大规模经济模拟。轨迹涵盖六个虚拟公司、三十六段完整会话，共计九百八十六个节点帧，支持跨操作系统消息传递（macOS、Windows、浏览器）与角色多样性（不同职务与组织）。每段轨迹包含密集的底层事件时间戳、因果状态快照及节点对齐信息，为研究多步骤图形界面交互与智能体行为分析提供了细粒度、结构化、多模态的标注资源。

使用方法

研究人员可通过读取data.jsonl文件获取每条轨迹的结构化元数据，包括目标、节点树、输入事件及因果状态。同步利用screenshots目录下的每节点PNG帧与videos目录中的完整屏幕录像进行多模态分析。该数据适用于训练与评估基于视觉的图形用户界面智能体，特别是在企业内部多应用协作场景下，支持任务分解、意图对齐及鲁棒性测试等研究方向。

背景与挑战

背景概述

SynthUX Economy R4 W007数据集诞生于2024年，由SynthUX团队研发，旨在为图形用户界面（GUI）代理研究提供高度仿真的多应用交互场景。该数据集通过模拟企业经济环境，生成包含低层级鼠标与键盘操作轨迹的多模态记录，涵盖终端、浏览器、办公套件等十余种桌面应用的协同执行。其核心贡献在于突破了传统单任务GUI数据集的局限，首次实现了跨操作系统（macOS、Windows、浏览器）的多公司经济模拟，为训练具备跨应用推理与操作能力的智能体提供了大规模、可复现的基准。该数据集的发布显著降低了复杂桌面自动化研究的门槛，推动GUI代理从单一指令执行向多步、多应用协作任务的演进，已成为计算机使用领域的重要数据基础设施。

当前挑战

该数据集所解决的领域挑战聚焦于多应用桌面操作的高复杂度与低数据可用性矛盾。传统GUI数据集多局限于单应用或静态截图，难以支撑代理在真实企业环境中的跨应用任务规划与动态反馈调整。SynthUX通过合成轨迹生成框架，解决了现实操作数据难以标注、成本高昂的问题，同时确保了每个模拟公司中角色、目标与文档内容的多样性，避免模型过拟合于固定模式。在构建过程中，团队面临的核心挑战包括：如何在没有高层API干预的条件下，仅通过低层级输入事件驱动原生应用状态变化，并保持因果逻辑一致性；以及如何在多公司、多操作系统的异构环境中统一记录960帧以上的屏幕录制和对应事件元数据，确保轨迹可复现性。

常用场景

经典使用场景

在计算机图形界面智能体研究领域，SynthUX Economy模拟数据集为训练和评估多应用协作的GUI智能体提供了高度仿真的实验平台。该数据集记录了模拟公司内部员工在多个操作系统环境（macOS、Windows及浏览器）中使用终端、笔记、代码编辑器、浏览器、即时通讯、邮件、表格与幻灯片等原生桌面应用完成复杂任务的全过程。研究者可依据自然语言指令拆解为层级节点树，利用包含鼠标、键盘及脚本事件的密集轨迹数据，探索智能体在跨应用场景下的动作规划与执行能力，成为推动GUI自主操作研究不可或缺的基准资源。

实际应用

在实际产业应用中，SynthUX数据集可赋能企业级数字员工智能体的核心能力提升。例如，基于该数据集训练的GUI智能体能够自动执行财务部门在多个应用间的数据录入与核对流程，或在项目团队中自动完成从邮件通知、即时代消息发送到文档协作编辑的连贯工作流。其记录的跨操作系统原生应用操作轨迹，直接服务于办公自动化软件、企业服务机器人与客户支持系统中复杂任务自动化的落地部署，显著降低人工介入频次并提升跨平台操作的一致性，展现出广阔的商业转化价值。

衍生相关工作

SynthUX数据集的出现催生了一系列具有启发性的后续研究方向。相关经典工作包括基于其多应用节点树结构开发的层级动作分解训练算法，以及利用因果对齐的输入事件与观察数据设计的状态推理模型。研究者还将该数据集与屏幕视频分析技术结合，拓展出基于视觉与低层级动作融合的端到端智能体架构。此外，其跨公司多角色设计激发了面向企业协作场景的群体智能体研究，团队通过分析不同角色的操作轨迹特征，构建出能够自适应理解组织分工与沟通模式的协作型GUI智能体系统。