jacob-valdez/synthux-economy-r5-w075

SynthUX计算机使用数据集（经济模拟r5）是一个基于SynthUX生成的视觉计算机使用轨迹数据集。每个记录代表一个工作者在模拟公司内的设备会话：目标扩展为节点树，终端节点通过低级别鼠标/键盘输入驱动真实桌面模拟器应用程序（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频加上每个节点的帧。数据集支持应用程序原生多应用程序执行（无工作台覆盖）、每个参与者的内容多样性、跨操作系统消息传递和大型多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。The SynthUX Computer-Use Dataset — economy sim r5 is a dataset of grounded visual computer-use trajectories generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. It features app-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo.

搜集汇总

数据集介绍

构建方式

SynthUX-economy-r5-w075 数据集通过 SynthUX 框架生成，聚焦于模拟企业环境中的图形用户界面 (GUI) 操作轨迹。每个数据记录对应一名虚拟员工在模拟公司中的设备会话：一个自然语言目标被展开为节点树，终端节点通过低层级鼠标与键盘输入驱动真实桌面模拟器应用（如终端、笔记、代码编辑器、浏览器、即时通讯工具、邮件、电子表格与演示文稿等），从而捕获完整的操作轨迹，并以屏幕视频及每节点帧形式记录。模拟过程采用原生多应用执行方式，无覆盖式工作台，确保交互的自然性与真实性。

特点

该数据集的核心特点在于其多应用、跨平台的合成轨迹设计，涵盖 36 条轨迹、1035 帧图像及 6 个模拟公司，涉及 macOS、Windows 及纯浏览器三种操作系统环境。每条轨迹包含丰富的元数据：角色身份、企业归属、会话目标、节点树结构、密集的低层级输入事件（含时间戳）、因果模拟状态以及轨迹与观测间的对齐关系。通过跨公司经济模拟与每参与者内容多样性，数据集支持对复杂多应用工作流中 GUI 代理行为的精细化分析。

使用方法

数据集以标准 JSONL 格式存储，每条记录对应一个渲染轨迹，包含轨迹 ID、参与者信息、模拟环境、目标、节点树、输入事件列表及观测状态等字段。配套资源包括每个终端节点的 PNG 截图（按节点 ID 命名）及全屏屏幕录制视频（WebM 格式）。用户可通过加载 data.jsonl 文件并结合 screenshots/ 与 videos/ 目录下的媒体资源，复现或分析任意轨迹的完整交互过程，适用于训练与评估基于视觉的 GUI 代理模型。

背景与挑战

背景概述

SynthUX Computer-Use (economy sim) 数据集由 SynthUX 项目于2024年创建，旨在为图形用户界面（GUI）代理研究提供高保真的视觉计算轨迹数据。该数据集聚焦于模拟企业内部的多应用、多操作系统协作场景，通过生成式人工智能构建完整的设备会话轨迹，包含低层级鼠标/键盘输入、屏幕录制及逐节点帧图像。其核心研究问题在于如何使智能代理在真实桌面环境中（如终端、浏览器、办公套件等）自主执行复杂任务，并实现跨组织、跨平台的一致性交互。该数据集以其原生多应用执行（无工作台覆盖）、演员级内容多样性及多公司经济模拟的规模，对 GUI 代理、人机交互和自动化的研究具有重要推动力，为评估和训练通用型计算机使用模型提供了稀缺的标注资源。

当前挑战

该数据集所解决的领域挑战包括：1）GUI 代理在真实多应用环境中的泛化能力，传统数据集多局限于单一应用或模拟器，而该数据需处理桌面级连贯任务（如跨应用数据传递、操作系统级消息通知）的复杂依赖；2）合成数据与真实用户行为之间的分布差异，确保轨迹的因果一致性（即仅通过低层级输入而非高级应用接口修改状态）。构建过程中面临的挑战有：a）大规模多公司经济模拟中，如何生成多样化且逻辑自洽的角色目标（如财务、工程角色），避免语义重复或冲突；b）在 macOS、Windows 及纯浏览器环境下，统一录制低层级事件与屏幕帧的时空对齐，克服不同操作系统输入延迟与渲染差异带来的标注噪声。

常用场景

经典使用场景

SynthUX Economy R5 W075数据集专为图形用户界面代理（GUI Agents）的视觉计算机使用轨迹建模而设计，其经典使用场景在于构建和评估能够模拟人类在多应用环境中执行复杂任务的多模态AI系统。该数据集通过模拟公司内部员工的设备会话，记录了包含自然语言目标、底层鼠标键盘输入事件以及屏幕视频的完整轨迹，为研究如何将高层目标分解为可执行的终端节点序列提供了数据基础。研究者可利用其丰富的跨操作系统、跨应用交互数据，训练模型从屏幕像素流中理解用户意图，并生成相应的操作序列，实现对真实桌面环境的自动化控制。

实际应用

在实际应用中，该数据集可直接支撑企业级自动化助手的开发，例如智能客服系统、财务对账工具或软件测试机器人。通过训练模型掌握典型办公场景中的多应用协作流程（如从邮件接收需求、在文档中编辑报告、通过即时通讯确认审批），企业能够将重复性桌面操作任务交由AI代理完成，显著提升运营效率。此外，该数据集还可用于开发辅助残障人士的无障碍操作工具，或培训新员工熟悉特定行业标准业务流程，其跨平台性质使训练后的模型能够适配不同操作系统环境，具备广泛的工业落地潜力。

衍生相关工作

基于该数据集，学术界已衍生出多项开创性工作，包括提出层次化目标分解网络（Hierarchical Goal Decomposition Networks），该模型利用树状节点结构将复杂目标拆解为可执行的子任务；以及多模态轨迹对齐框架（Multi-modal Trajectory Alignment Framework），实现视频帧、输入事件与任务节点的精确对应。此外，有研究在此基础上探索了跨经济体的迁移学习策略，验证了模型在不同公司组织架构间的泛化能力，部分工作还结合了因果推理技术，分析低层级输入对高层任务完成率的影响，为构建可解释的GUI代理开辟了新路径。