jacob-valdez/synthux-economy-r5-w038

SynthUX计算机使用数据集（经济模拟r5）是一个基于SynthUX生成的视觉计算机使用轨迹数据集。每个记录代表一个工作者在模拟公司内的设备会话：一个目标扩展为节点树，终端节点通过低级鼠标/键盘输入驱动真实的桌面模拟应用程序（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频以及每个节点的帧。该数据集支持应用程序原生的多应用执行（无工作台叠加），具有每个参与者的内容多样性、跨操作系统消息传递和大型多公司经济环境。每个经济模拟作为独立的数据集存储库发布。The SynthUX Computer Usage Dataset (Economic Simulation r5) is a visual computer usage trajectory dataset generated based on SynthUX. Each record represents a device session of a worker within a simulated corporate environment: a target is expanded into a node tree, where terminal nodes drive real desktop simulation applications (such as Terminal, Notes, VS Code, browsers, Slack/Teams, Mail, Sheets, Slides, etc.) via low-level mouse and keyboard inputs. The observed usage trajectories are recorded as screen videos and frame data for each node. This dataset supports native multi-application execution (without workspace overlay), and features content diversity for each participant, cross-operating-system messaging, and a large-scale multi-company economic environment. Each economic simulation is released as an independent dataset repository.

搜集汇总

数据集介绍

构建方式

该数据集由SynthUX框架生成，专注于模拟多公司经济环境中的计算机使用轨迹。每个记录对应一名员工在模拟公司内的设备会话，从自然语言目标出发，系统将其扩展为节点树，终端节点通过低层级鼠标与键盘输入驱动真实桌面模拟器应用（如终端、笔记、代码编辑器、浏览器、即时通讯工具、邮件、电子表格、演示文稿等），并完整录制观察到的轨迹作为屏幕视频与每节点帧图像。数据生成采用因果捕获方式，仅通过低层级输入突变通道获取状态，排除了高层应用突变干扰，确保了轨迹的真实性与可复现性。每轮经济模拟独立发布为一个数据集仓库。

特点

本数据集的核心特色在于其跨应用、多操作系统与多公司经济模拟的综合设计。轨迹覆盖macOS、Windows及纯浏览器三种桌面环境，体现了异构平台的适配能力。数据包含36条轨迹、854个节点帧与36个完整屏幕视频，源自6个不同公司角色，每家公司赋予员工独特身份与目标，从而保证了内容多样性。每条轨迹不仅记录密集的低层级输入事件序列，还提供因果模拟状态、输入事件与节点ID的对齐映射，以及每终端节点的截图帧，支撑细粒度分析与视觉-动作关联研究。

使用方法

数据集以JSONL格式存储元数据，每条记录包含轨迹唯一标识、角色属性、环境类型、自然语言目标、节点树结构、输入事件序列及对齐信息。媒体文件独立存放于screenshots与videos子目录，帧图像以轨迹ID与节点ID命名，便于索引。用户可通过加载data.jsonl文件遍历记录，利用trajectory.input_events字段获取时间戳化的低层级操作序列，结合trajectory.alignment将事件映射至具体节点，进而调用对应帧图像进行视觉上下文分析。适用于GUI代理训练、多应用工作流建模及人机交互行为研究等场景。

背景与挑战

背景概述

SynthUX Computer-Use数据集由SynthUX团队于近期创建，聚焦于图形用户界面（GUI）智能体的视觉计算机使用轨迹研究。该数据集的核心研究问题在于模拟多应用、多操作系统环境下的自然工作流，通过生成合成数据来训练和评估能够理解并执行复杂桌面任务的智能模型。其影响力体现在为计算机使用领域的智能体研究提供了一个高保真、可扩展的数据基础，尤其面向跨应用协作与多公司经济模拟场景，填补了现有数据集在多样化执行环境与细粒度输入记录方面的空白。数据集包含36条轨迹、854帧画面及6家模拟公司的交互记录，覆盖macOS、Windows及浏览器操作系统，为开发上下文感知的GUI智能体提供了丰富素材。

当前挑战

该数据集面临的挑战主要体现在两个层面：一是所解决的领域问题，即GUI智能体在真实多应用场景中的鲁棒性与泛化能力——如何从低层级鼠标/键盘事件中捕捉高层语义意图，并适应不同操作系统与应用程序的交互差异，是当前视觉计算机理解的核心难题。二是构建过程中的挑战，包括合成轨迹的保真度控制，需确保生成的输入事件序列在因果性上与模拟器状态一致，避免引入人工突变干扰；此外，跨公司经济模拟的规模扩展带来了内容多样性、数据一致性及存储空间的管理问题，如854帧画面与36条视频记录的对齐与标注需精确无误，方能为模型训练提供可靠监督信号。

常用场景

经典使用场景

该数据集的核心用途在于模拟多应用协同环境下的计算机使用轨迹，为训练和评估GUI智能体提供逼真的行为数据。每个样本记录了一名虚拟员工在模拟公司内完成特定自然语言目标时的完整操作序列，涵盖终端、笔记、浏览器、通讯工具、邮件、表格处理等多个桌面应用程序的底层鼠标与键盘交互。研究者可借助该数据集的屏幕录像与逐帧截图，对智能体在复杂多步骤任务中的规划能力、跨应用切换效率及低层级输入精度进行标准化测试。

衍生相关工作

围绕该数据集已衍生出多项前沿探索：一是基于节点树结构的层次化奖励建模，用于强化学习中的长序列任务学分分配；二是因果干预方法研究，利用对齐的观察与输入事件区分智能体行为与系统自发变化；三是跨平台泛化性基准，通过对比macOS、Windows与浏览器环境下的轨迹分布差异，推动操作系统无关的通用GUI策略学习。部分工作还尝试将视频帧与低层级事件联合编码，构建多模态控制策略的预训练框架。

数据集最近研究

最新研究方向

SynthUX-economy-r5-w038数据集聚焦于多应用协同的图形用户界面智能体研究，通过模拟企业级经济环境中多角色、跨平台的桌面操作轨迹，为计算机使用领域的前沿探索提供了高保真数据支撑。该数据集涵盖终端、浏览器、办公套件等真实应用的低级交互记录，结合跨操作系统的异构环境，推动了GUI智能体在复杂任务泛化与多公司经济模拟中的研究。其合成数据生成方法降低了真实场景采集成本，对自动化工效分析、人机协作及企业数字化转型具有重要参考价值，也为评估智能体的视觉推理与细粒度操作能力奠定了基准。