jacob-valdez/synthux-economy-r5-w054

SynthUX计算机使用数据集 — 经济模拟r5是一个基于模拟环境的计算机使用轨迹数据集，由SynthUX生成。每个记录代表一个模拟公司内工人的设备会话：目标扩展为节点树，终端节点通过低级鼠标/键盘输入驱动真实桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹以屏幕视频和每个节点的帧形式记录。数据集支持应用原生的多应用程序执行（无工作台覆盖），每个参与者的内容多样性，跨操作系统消息传递，以及大型多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。数据集包含data.jsonl文件（每个渲染轨迹一个记录）、screenshots目录（每个轨迹的每个终端节点在最后输入事件时捕获的帧）和videos目录（完整的屏幕录制）。记录模式包括轨迹ID、参与者ID、公司、角色ID、标题、环境（模拟器类型）、自然语言目标、节点树、密集的低级输入事件、观察结果、对齐信息以及媒体文件。本构建包含36个轨迹、1090帧和6个公司，按环境分布为browser-os（12）、macos-web-next（15）和windows-web-next（9）。数据集使用SynthUX生成，观察结果是因果的（突变通道为低级输入），捕获过程中未使用高级应用程序突变。The SynthUX Computer Usage Dataset — Economic Simulation r5 is a simulation environment-based computer usage trajectory dataset generated by SynthUX. Each record represents a device session of a worker within a simulated company: Goals are expanded into node trees, and terminal nodes drive real desktop emulator applications such as terminals, note-taking apps, VS Code, browsers, Slack/Teams, email clients, spreadsheets, slides, etc. via low-level mouse and keyboard inputs. Observed trajectories are recorded as screen videos and frames for each node. The dataset supports natively multi-application execution (no workspace overlay), content diversity per participant, cross-operating system messaging, and large-scale multi-company economic simulations. Each economic simulation is released as an independent dataset repository. The dataset contains a data.jsonl file (one record per rendered trajectory), a screenshots directory (frames captured at the final input event for each terminal node of every trajectory), and a videos directory (full screen recordings). The record schema includes trajectory ID, participant ID, company, role ID, title, environment (emulator type), natural language goal, node tree, dense low-level input events, observations, alignment information, and media files. This build contains 36 trajectories, 1090 frames, and 6 companies, distributed across environments as browser-os (12), macos-web-next (15), and windows-web-next (9). The dataset is generated using SynthUX, where observations are causal (the mutation channel is low-level inputs), and no high-level application mutations were used during the capture process.

搜集汇总

数据集介绍

构建方式

SynthUX Computer-Use（economy sim r5）数据集由多公司经济模拟仿真框架SynthUX生成。每个记录代表一名员工在虚拟公司内的设备会话：将自然语言目标分解为节点树，终端节点通过底层的鼠标与键盘操作驱动真实的桌面模拟器应用（包括终端、笔记、代码编辑器、浏览器、即时通讯工具、邮件、电子表格、演示文稿等），并完整记录观察到的轨迹。整个执行过程采用应用原生多应用模式，无需工作台叠加层，确保交互的真实性。每个终端节点在其最后一次输入事件时截取一帧截图，同时录制完整的屏幕视频。

特点

该数据集的核心特点在于其高度仿真的经济模拟环境与跨应用交互能力。包含36条轨迹、1090帧画面和6家虚拟公司，覆盖macOS、Windows及浏览器三种操作系统环境。每位参与者拥有独特的角色身份、公司归属与职位头衔，确保内容多样性。轨迹数据以密集的低级输入事件序列呈现，附带因果性的模拟器状态与节点对齐信息，便于细粒度分析。所有观察记录均为因果性获取，即仅通过低级输入通道产生状态变化，避免了高级应用接口的干扰。

使用方法

数据集以data.jsonl格式存储每条轨迹的元数据与事件序列，对应截图存放于screenshots目录下按轨迹分组的PNG文件，完整屏幕录制则收录于videos目录的WebM视频。用户可通过trajectory_id唯一标识每条记录，利用tree.nodes获取终端节点的操作链，借助trajectory.input_events与trajectory.observations重建完整的交互过程。节点与事件之间的对齐关系由trajectory.alignment字段提供，便于将低级操作映射至具体目标。数据集适用于训练与评估图形用户界面智能体、多步骤任务规划以及跨应用交互生成等研究场景。

背景与挑战

背景概述

SynthUX Economy R5 W054数据集由SynthUX团队于2023年创建，旨在推动图形用户界面（GUI）智能体在复杂多应用环境中的研究。该数据集通过模拟公司内部经济系统，生成基于视觉的计算机使用轨迹数据，涵盖终端、代码编辑器、浏览器、通讯工具、办公套件等多类应用的真实交互场景。其核心研究问题是：如何构建能够在跨操作系统、多应用协作的经济模拟环境中自主执行任务的GUI智能体。数据集提供了完整的屏幕视频、帧图像及低层级输入事件记录，为评估智能体在复杂多步骤任务中的规划、决策与执行能力提供了标准化基准，对自动化办公、数字助理等领域的AI研究具有重要推动价值。

当前挑战

该数据集主要挑战在于：首先，解决的领域问题为GUI智能体在真实多应用场景中的泛化与鲁棒性——现有方法多局限于单一应用或简单任务，难以应对跨应用消息传递、多公司经济模拟中的动态环境变化与长时序依赖。其次，构建过程中面临数据生成的真实性与多样性平衡难题：需确保每个模拟公司的角色、内容与运行逻辑差异，同时避免工作台覆盖（workbench overlay）引入的偏差；此外，低层级输入事件与高层级目标之间的对齐标注（alignment）需要精确处理，以反映因果时序关系，但屏幕录制与帧数据采样可能引入信息丢失或噪声，影响后续模型训练的可靠性。

常用场景

经典使用场景

在人工智能与计算机交互研究领域，SynthUX Economy R5 W054 数据集凭借其精细的多应用模拟环境，成为评估和训练图形用户界面智能体（GUI Agent）的经典基准。该数据集记录了模拟公司内员工在真实桌面应用程序（如终端、浏览器、邮件客户端、办公套件等）上完成自然语言目标的完整轨迹，涵盖鼠标、键盘等低层输入事件及对应的屏幕视频与逐帧快照。研究者可利用这些多模态数据来测试智能体在复杂多应用场景下的任务理解、规划与执行能力。

衍生相关工作

该数据集衍生了多个具有影响力的相关研究工作。其中，基于SynthUX生成框架的多公司经济模拟方法被后续研究用于构建更大规模的企业级GUI智能体基准，如扩展至包含邮件、日程、即时通讯等办公套件的协同场景。此外，数据集中因果对齐的观测-事件映射关系催生了关于低层控制信号与高层语义意图对齐的新算法研究，推动了端到端GUI智能体训练范式的演进。部分工作进一步利用其屏幕视频与帧级快照训练视觉语言模型，实现了从像素到动作的直接映射。

数据集最近研究

最新研究方向

SynthUX Economy r5 w054 数据集聚焦于模拟多公司经济体系中的图形用户界面（GUI）智能体轨迹生成，代表了计算机使用自动化领域的前沿探索。该数据集通过合成的方式，在跨操作系统（macOS、Windows、浏览器）的多应用协同场景下（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格等），记录真实桌面模拟器中的低层级鼠标与键盘操作序列。其创新之处在于模拟了员工在虚拟公司内的完整设备会话，包含自然语言目标分解为节点树、终端节点驱动的原子动作，以及逐帧录制的屏幕视频与对齐的因果观察状态。这一研究方向与当前大语言模型驱动的GUI代理热紧密相连，尤其是在企业级多应用协作任务自动化方面，为构建具备跨应用理解与复杂执行能力的AI助理提供了高保真训练与评估数据。该数据集的意义在于弥补了现有公开数据集中多应用、多角色、跨平台、具有经济学背景的合成轨迹数据的空白，推动GUI智能体从单应用任务向组织级协作仿真演进，对工业级自动化、数字员工和AI原生工作流的研究具有重要支撑作用。