jacob-valdez/synthux-economy-r5-w050

SynthUX计算机使用数据集——经济模拟r5，是一个基于SynthUX生成的视觉计算机使用轨迹数据集。每个记录代表一个工作人员在模拟公司内的设备会话：目标扩展为节点树，终端节点通过低级别鼠标/键盘输入驱动真实的桌面模拟器应用（如Terminal、Notes、VS Code、Browser、Slack/Teams、Mail、Sheets、Slides等），观察到的轨迹被记录为屏幕视频加上每节点帧。该数据集支持应用原生多应用程序执行（无工作台覆盖）、每个参与者内容多样性、跨操作系统消息传递以及大型多公司经济模拟。每个经济模拟都作为独立的数据集仓库发布。SynthUX Computer-Use Dataset — economy sim r5, is a grounded visual computer-use trajectories dataset generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. It features app-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo.

搜集汇总

数据集介绍

构建方式

该数据集由SynthUX框架生成，聚焦于计算机操作场景下的视觉化轨迹数据。每条记录对应一名工作人员在模拟公司环境中的设备会话过程：系统将一个自然语言目标逐步展开为节点树，终端节点通过底层鼠标与键盘输入驱动桌面模拟器应用（包括终端、笔记、代码编辑器、浏览器、即时通讯工具、邮件、表格、幻灯片等），完整记录观察到的操作轨迹，并保存为屏幕视频与每个节点的对应帧图像。整个构建过程基于因果观察机制，仅通过低层级输入通道进行状态变更，未使用高层应用级的突变操作。

使用方法

数据集以HuggingFace仓库形式发布，主要包含三个核心文件：data.jsonl文件存储每条轨迹的结构化记录；screenshots目录按轨迹与节点ID存放终端节点帧图像；videos目录提供完整屏幕录像的WebM格式视频。每条记录包含轨迹ID、参与者身份、所属公司与角色、运行环境、自然语言目标、节点树结构、底层输入事件序列、因果观察状态以及视频与帧媒体的引用信息。研究者可直接加载JSONL文件进行轨迹分析与模型训练，通过帧图像与视频还原完整的操作过程，适用于GUI代理、人机交互模拟及多应用工作流学习等研究方向。

背景与挑战

背景概述

SynthUX Economy r5 数据集由生成式模拟框架 SynthUX 于近期创建，旨在为图形用户界面（GUI）代理研究提供高保真、接地气的计算机使用轨迹。该数据集聚焦于模拟多公司经济体系中的员工桌面操作，每个数据记录对应一名工人在虚拟公司内的完整设备会话，涵盖了从自然语言目标到节点树分解、终端节点驱动真实桌面模拟器（如终端、笔记、浏览器、邮件、电子表格等应用）的完整流程。核心研究问题在于如何通过大规模、多应用的仿真环境，生成具有内容多样性和跨操作系统交互的观察轨迹，以支持 GUI 代理的训练与评估。该数据集的推出对计算机使用代理、人机交互及自动化领域具有重要影响，为构建更智能、更泛化的桌面自动化系统提供了宝贵的资源。

当前挑战

该数据集所解决的领域核心挑战在于如何从高维、动态的 GUI 状态中提取结构化行为模式，以实现对复杂多步骤办公任务的自动化。传统方法往往依赖简化的模拟环境或高层次的 API 调用，难以捕捉真实世界中鼠标键盘输入、跨应用协作及操作系统差异带来的复杂性。SynthUX 通过低层次输入事件（鼠标/键盘/脚本）与因果观测状态的结合，构建了端到端的轨迹记录，但这一过程面临模拟环境保真度、跨平台一致性以及大规模经济模拟中多智能体交互的随机性挑战。此外，数据构建中需要确保每个轨迹的节点树、屏幕截图与视频的全链路对齐，并避免在捕获过程中引入高层应用变异，这对数据生成管道的设计提出了极高要求。

常用场景

经典使用场景

在现代人工智能领域，构建能够自主操作图形用户界面的智能代理（GUI Agents）已成为人机交互研究的前沿课题。SynthUX Economy Sim数据集正是为这一使命而生，它提供了一套多应用、跨平台的计算机使用轨迹数据，每个轨迹都记录了模拟企业环境中工作者执行自然语言目标的完整操作流程，包括节点树展开、底层鼠标键盘事件、屏幕录像以及帧级截图。该数据集的经典应用场景是训练和评估GUI代理在复杂多步任务中的规划与执行能力，例如在一个模拟公司内部，代理需要同时操作终端、笔记、代码编辑器、浏览器、即时通讯工具、邮件客户端和办公套件，完成跨应用的协作任务。通过这种高度真实的模拟环境，研究者可以系统性地衡量代理对动态界面变化的适应能力、多窗口切换的协调能力以及目标分解的合理性。

解决学术问题

在学术研究中，面对真实世界的GUI操作数据往往受限于隐私保护、标注成本高昂和场景单一等问题，导致基于学习的GUI代理常陷入过拟合与泛化能力不足的困境。SynthUX Economy Sim数据集直面这一挑战，通过合成生成技术创造了包含36条轨迹、跨越6家企业、覆盖macOS、Windows和浏览器三种操作系统的丰富语料。它深入解决了当前研究中关于多应用协同执行、跨平台一致性和因果状态追踪的诸多痛点，使得研究者能够在一个受控但高度复杂的虚拟经济体系中，探索代理如何基于低层输入事件（而非高层API调用）进行因果推理和错误恢复。这一数据集的问世，不仅为GUI代理的涌现行为分析提供了可复现的基准，更推动了从单步命令执行向多目标、多角色、多组织协作的范式演进，助力学术界构建更加鲁棒和智能的计算机使用模型。

实际应用

在实际产业界中，SynthUX Economy Sim数据集所蕴含的丰富多应用轨迹数据，可直接服务于智能桌面助手、自动化测试框架和企业流程自动化平台。例如，软件质量保障团队可基于该数据训练智能体自动执行回归测试脚本，在集成开发环境、即时通讯系统和文档编辑器之间穿梭验证功能完整性；企业IT支持部门则可利用其构建跨应用故障诊断代理，当员工在协同工作中遇到操作障碍时，代理能依据相似轨迹快速定位问题并提供修复建议。此外，该数据集的多公司模拟特性还使其成为研究组织级行为分析的基础设施——人力资源系统可以借此演练新员工入职流程中的各类软件操作培训，而安全运维团队则能通过分析异常的轨迹模式来检测潜在的内部威胁或误操作风险。

数据集最近研究

最新研究方向

SynthUX经济模拟计算机使用数据集聚焦于多应用协作环境中，基于视觉的GUI代理轨迹生成与评估。当前前沿研究方向包括：利用合成数据驱动的大规模多智能体经济模拟，探索跨操作系统（macOS/Windows/浏览器）的桌面任务自动化；结合细粒度鼠标/键盘事件与屏幕视频，构建因果观测链路，以提升GUI代理在复杂商业场景中的鲁棒性与泛化能力。该数据集与“计算机使用”（Computer-Use）热点紧密相关，为AI Agent在真实企业级多公司、多角色场景中的自主操作提供基准，推动了人机交互、自动化办公及合成数据在软件工程中的应用边界。其意义在于弥合模拟环境与真实桌面操作间的鸿沟，为下一代GUI Agent研究奠定数据基础。