jacob-valdez/synthux-economy-r3-w014

SynthUX计算机使用数据集 — 经济模拟r3是一个由SynthUX生成的接地视觉计算机使用轨迹数据集。每个记录代表一个模拟公司内的工作者设备会话：目标扩展为节点树，终端节点通过低级鼠标/键盘输入驱动真实桌面模拟器应用（包括Terminal、Notes、VS Code、Browser、Slack/Teams、Mail、Sheets、Slides等），观察到的轨迹被记录为屏幕视频和每节点帧。该数据集支持应用原生多应用程序执行（无工作台覆盖）、每参与者内容多样性、跨操作系统消息传递以及大规模多公司经济模拟。每次经济模拟都作为独立的数据集仓库发布。SynthUX Computer-Use Dataset — economy sim r3 is a grounded visual computer-use trajectories dataset generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. It features app-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo.

搜集汇总

数据集介绍

构建方式

SynthUX-Economy-R3-W014数据集通过模拟多公司经济系统中的桌面设备会话生成。每条记录对应一名员工在虚拟企业中的完整操作流程，其目标被逐步分解为节点树，终端节点通过低阶鼠标与键盘指令驱动真实桌面模拟器应用（如终端、笔记、代码编辑器、浏览器、即时通讯工具、邮件、电子表格与演示文稿等）。系统以原生多应用执行方式运行，摒弃工作台覆盖层，确保交互的真实性。每个会话的屏幕操作过程被录制成视频，并同步捕获每个终端节点在最后一次输入事件时的帧图像，最终形成结构化的轨迹记录。

使用方法

数据集以标准格式分三部分提供：主文件data.jsonl包含每条轨迹的元数据，包括轨迹标识符、参与者与公司信息、节点树、密集的低阶输入事件序列及因果模拟器状态；screenshots目录按轨迹与节点ID组织PNG帧图像；videos目录存放全屏录制的WebM视频。使用者可通过jsonl中的trajectory_id与media字段关联视频与帧文件，也可利用trajectory.alignment字段将观察结果与输入事件范围映射至具体节点，便于进行环境感知、动作预测或行为克隆等下游任务的训练与评测。

背景与挑战

背景概述

SynthUX Economy R3 W014数据集诞生于2025年，由专注于GUI代理与模拟经济的跨学科研究团队开发，其核心研究问题在于构建一个能够捕捉多应用协同操作、跨平台真实桌面行为的合成数据集，以推动计算机使用（Computer-Use）领域从单一任务代理向复杂多公司经济系统代理的演进。该数据集通过模拟企业内部真实工作流，将自然语言目标分解为层级节点树，并通过低层级鼠标/键盘事件驱动桌面模拟器应用（如VS Code、终端、浏览器、邮件等），从而生成带有屏幕视频与逐节点帧的密集轨迹记录。凭借其原生多应用执行、无模拟工作台覆盖、跨OS通信及大规模多公司经济体系等特点，该数据集为GUI代理研究提供了前所未有的生态复杂性与可扩展性基准，在这一领域具有里程碑式的影响力。

当前挑战

该数据集所解决的领域核心挑战在于，现有GUI代理数据集多局限于单应用、简化的任务场景，无法反映真实企业环境中多应用协同、跨平台通信及动态经济系统内部的高度耦合与并发交互。在构建过程中，团队面临多重技术挑战：确保低层级输入事件（鼠标、键盘、脚本）的因果一致性，避免模拟器内的高层级API突变引入数据污染；维护跨六家虚拟公司、三种操作系统环境（macOS Web、Windows Web、纯浏览器）的异构轨迹生成；以及设计能够将自然语言目标自动分解为可执行节点树的高效算法，同时保障每位虚拟角色的数据多样性，避免样本同质化。此外，在规模扩展中保持轨迹质量与录制帧的同步精度，也是工程实现中的显著障碍。

常用场景

经典使用场景

在图形用户界面（GUI）智能体研究领域，SynthUX Economy模拟数据集为多应用、多角色的复杂办公场景提供了标准化的评估平台。研究者可借助该数据集中包含的密集低级输入事件序列、屏幕录像及逐节点截图，系统性地训练和评测GUI智能体在跨应用协作任务中的表现，如邮件与电子表格联合操作、即时通讯与代码编辑器的协同使用等。

解决学术问题

该数据集着力攻克当前GUI智能体研究中数据获取成本高昂、场景单一且缺乏真实组织结构的难题。通过模拟包含多家公司、不同角色身份的完整经济体环境，它使研究者能够深入探索智能体在复杂组织架构下的任务分解能力、跨应用状态追踪能力以及低层输入与高层意图的对齐机制，为构建具备长期规划与鲁棒执行能力的自主智能体奠定了数据基础。

实际应用

基于该数据集的特性，其实际应用场景可延伸至企业级自动化助手、数字化办公培训以及虚拟员工绩效评估系统。例如，企业可利用其构建的跨平台操作轨迹，开发能够自动完成报销流程、项目进度同步或客户回复等日常任务的智能体，从而显著降低人力成本并提升运营效率，尤其适用于需要处理多应用、多窗口信息的现代办公环境。

数据集最近研究

最新研究方向

SynthUX Economy R3 W014数据集聚焦于多应用、多平台图形用户界面（GUI）代理的合成轨迹生成，在计算机使用自动化领域具有前沿价值。通过模拟企业内部多角色、跨操作系统（macOS、Windows、浏览器）的复杂工作流，该数据集为研究基于视觉的GUI代理在真实多应用场景中的泛化能力提供了坚实基础。其核心创新在于生成低层级鼠标/键盘操作轨迹与大粒度任务目标的因果对齐，突破了传统单应用、单平台模拟的局限。当前，随着AI代理在自动化办公、企业级数字劳动力等领域的热点兴起，该数据集为训练和评估GUI代理在异构环境中的鲁棒性、跨应用协调能力及经济模拟中的适应性树立了新标杆，对推动自主界面交互研究迈向更高层次具有里程碑意义。