jacob-valdez/synthux-economy-r5-w039

SynthUX计算机使用数据集是一个基于合成生成的计算机使用轨迹数据集，专注于经济模拟场景。每个数据记录代表一个工作者在模拟公司内的设备会话：一个目标被扩展为节点树，终端节点通过低级别鼠标/键盘输入驱动真实的桌面模拟器应用程序（包括终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频和每个节点的帧。数据集支持应用程序原生多应用程序执行（无工作台覆盖）、每个参与者内容多样性、跨操作系统消息传递以及大型多公司经济模拟。每个经济模拟作为独立的数据集存储库发布。数据集内容包括data.jsonl文件（每个渲染轨迹一个记录）、screenshots目录（每个轨迹的每个终端节点帧，在节点的最后一个输入事件处拍摄）和videos目录（完整屏幕录制）。记录模式包括轨迹ID、参与者ID、公司、角色ID、职位、环境（模拟器类型）、自然语言目标、节点树、密集低级别输入事件、因果模拟器状态、对齐链接以及媒体引用。统计显示本版本包含36个轨迹、997个帧、6家公司，环境分布为browser-os（4个）、macos-web-next（17个）和windows-web-next（15个）。数据使用SynthUX生成，观察是因果的（突变通道为低级别输入），捕获过程中未使用高级别应用程序突变。The SynthUX Computer Usage Dataset is a synthetically generated computer usage trajectory dataset focused on economic simulation scenarios. Each data record represents a device session of a worker within a simulated company: A target is expanded into a node tree, where terminal nodes drive real desktop simulator applications (including terminals, Notes, VS Code, browsers, Slack/Teams, emails, spreadsheets, slides, etc.) via low-level mouse/keyboard inputs. The observed trajectories are recorded as screen videos and frames for each node. The dataset supports native multi-application execution (no workspace overlay), content diversity per participant, cross-operating system messaging, and large-scale multi-company economic simulations. Each economic simulation is released as an independent dataset repository. The dataset contents include the data.jsonl file (one record per rendered trajectory), the screenshots directory (frames of each terminal node for each trajectory, captured at the last input event of the node), and the videos directory (full screen recordings). Recorded fields include trajectory ID, participant ID, company, role ID, job title, environment (simulator type), natural language target, node tree, dense low-level input events, causal simulator state, alignment links, and media references. Statistics show that this version contains 36 trajectories, 997 frames, and 6 companies. The environment distribution is browser-os (4), macos-web-next (17), and windows-web-next (15). The data is generated using SynthUX, with observations being causal (mutation channel is low-level inputs), and no high-level application mutations were used during the capture process.

搜集汇总

数据集介绍

构建方式

在数字经济蓬勃发展的背景下，该数据集通过SynthUX框架模拟企业级多角色协作场景，生成基于视觉的计算机使用轨迹。构建过程中，每个模拟员工（actor）被赋予特定职能与组织归属，其自然语言目标被逐步拆解为节点树，终端节点经由底层鼠标与键盘指令驱动真实桌面模拟器应用（包括终端、笔记、代码编辑器、浏览器、即时通讯、邮件、表格、幻灯片等）完成操作。完整的交互过程被录制为屏幕视频，并为每个终端节点捕获静态帧图像，最终形成结构化的轨迹数据。

特点

该数据集的核心特点在于其高保真度与多应用生态的深度融合。轨迹记录包含从底层输入事件到因果模拟状态的完整闭环，支持精确归因分析；多公司、多角色、跨操作系统（macOS、Windows及浏览器环境）的仿真经济体系，确保了数据在内容多样性、行为真实性与任务复杂性上的显著优势。此外，非工作台叠加的应用原生执行方式，使得数据能真实反映多窗口、跨应用协同工作的实际挑战。

使用方法

数据集以HuggingFace仓库形式发布，包含主数据文件data.jsonl、按轨迹分组的屏幕截图screenshots/目录及全屏视频videos/目录。每条记录通过trajectory_id唯一标识，并提供系统级输入事件序列（含毫秒级时间戳）、因果观测快照及事件与节点的对齐链接。使用者可直接加载jsonl文件解析轨迹元数据，关联对应帧图像与视频进行多模态分析，也可利用alignment字段构建时序监督信号，服务于GUI智能体训练、用户行为建模或界面自动化任务。

背景与挑战

背景概述

随着大型语言模型与图形用户界面代理技术的深度融合，如何构建具备跨应用、跨操作系统执行能力的智能体系统成为人机交互领域的前沿课题。SynthUX Computer-Use数据集（economy sim版本）由多公司经济模拟框架于特定版本生成，旨在解决真实桌面环境中多应用协同操作的轨迹建模问题。该数据集通过模拟虚拟公司内的员工设备会话，将高层自然语言目标分解为细粒度节点树，并记录终端节点驱动模拟器应用（如终端、浏览器、办公套件等）的完整鼠标与键盘操作序列，为计算机使用场景的智能体研究提供了结构化的视觉-动作对齐基准。其多公司、多角色、多操作系统的实验设计，显著推动了GUI代理在复杂企业级任务中的泛化能力研究。

当前挑战

该数据集面临多重挑战：首先，在领域问题层面，现有GUI代理研究多局限于单一应用或固定工作流，难以应对真实世界中多应用动态交互与跨系统消息传递的复杂性，而SynthUX通过模拟多公司经济体系揭示了代理在异构环境中的决策鲁棒性需求；其次，在构建过程中，生成高质量、因果一致的屏幕轨迹面临技术瓶颈，包括如何保证低层级输入事件与高层级节点目标的严格对齐、如何在模拟器层面维持应用原生行为而非使用叠加层干预，以及如何在大规模多公司模拟中控制内容多样性以避免任务同质化——这些均对数据集的可扩展性与生态效度构成显著约束。

常用场景

经典使用场景

在智能体与图形用户界面交互的研究领域，SynthUX Economy R5 W039 数据集为训练和评估基于视觉的计算机使用智能体提供了理想的试验场。该数据集通过模拟多公司、多角色的经济活动，捕获了完整的屏幕视频和精细的底层输入事件，使得研究者能够探索智能体如何理解复杂任务的语义目标，并规划出可执行的鼠标键盘操作序列。其多应用协同（终端、浏览器、邮件、办公套件等）与跨操作系统环境的特性，尤其适合作为多模态决策模型的基准测试平台，推动从像素级观察到高层任务理解的关键跨步。

解决学术问题

该数据集直面当前图形界面自动化研究中的两大核心挑战：真实异构环境下的鲁棒泛化与长程任务的结构化建模。通过提供来自六家不同公司、涵盖多个经济角色的36条轨迹，它解决了以往评测设置中环境单一、任务同质的问题，使学术社区能够量化模型在域外场景中的表现。进一步地，数据集中‘目标-节点树-底层事件’的三层对齐结构，为研究因果关联推理、层次化规划以及稀疏奖励条件下的信用赋值提供了坚实的实证基础，从而推动从简单命令执行到深层次目标理解的范式跃迁。

衍生相关工作

基于SynthUX数据集的独特结构，后续研究已催生出多个方向的经典工作。在表示学习方面，有工作利用其对齐的视频-事件序列，开发了自监督的像素级操作编码器，显著降低了智能体对新环境零样本泛化的数据需求。在决策智能体领域，衍生出基于因果图的层次化强化学习框架，利用数据中的节点树结构实现了更可解释的长程规划。此外，针对安全对齐问题，研究者通过分析数据集中的异常行为轨迹，提出了基于反事实推理的对抗鲁棒训练方法。