jacob-valdez/synthux-economy-r5-w013

SynthUX计算机使用数据集（经济模拟r5）是一个由SynthUX生成的视觉计算机使用轨迹数据集，专注于模拟公司环境中的GUI代理交互。每条记录代表一个工作者在模拟公司设备会话中的轨迹：目标扩展为节点树，终端节点通过低级鼠标和键盘输入驱动真实桌面模拟器应用（包括终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频和每个节点的帧。数据集支持应用原生多应用执行（无工作台覆盖），具有每个参与者内容多样性、跨操作系统消息传递和大规模多公司经济模拟特性。每个经济模拟作为独立的数据集存储库发布。数据集包含数据文件、截图帧和视频，记录模式涵盖轨迹ID、参与者信息、环境、目标、节点树、输入事件、观察结果、对齐信息以及媒体文件。统计信息显示本版本包含36条轨迹、833帧、6家公司，环境分布为browser-os（14）、macos-web-next（12）和windows-web-next（10）。数据生成使用SynthUX v1，观察基于因果模拟器状态（突变通道为低级输入），捕获过程中未使用高级应用突变。The SynthUX Computer-Use Dataset — economy sim r5 is a dataset of grounded visual computer-use trajectories generated by SynthUX, focusing on GUI agents in a simulated company environment. Each record represents one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (such as Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, etc.) through low-level mouse and keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. The dataset features app-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repository. It includes data files, screenshot frames, and videos, with a record schema covering trajectory ID, actor information, environment, goal, node tree, input events, observations, alignment, and media files. Statistics for this build show 36 trajectories, 833 frames, 6 companies, and environment distribution: browser-os (14), macos-web-next (12), windows-web-next (10). Generated with SynthUX v1, observations are causal (mutation channel = low-level input), with no high-level app mutation used during capture.

搜集汇总

数据集介绍

构建方式

本数据集由SynthUX框架生成，聚焦于模拟企业环境中的图形用户界面（GUI）智能体行为。每条记录对应一名员工在虚拟公司内的完整设备会话：自然语言目标被展开为树状节点结构，终端节点通过底层鼠标与键盘输入驱动真实桌面模拟应用（如终端、笔记、代码编辑器、浏览器、即时通讯工具、邮件、电子表格与演示文稿等），并完整记录所观测到的操作轨迹。模拟过程采用多应用程序原生执行模式，摒弃工作台覆盖层，确保交互真实性。每一轮经济模拟均作为独立的数据集仓库发布，本版本为经济模拟第五轮次。

特点

该数据集具有鲜明的多维度特征。其一，涵盖跨操作系统生态的桌面环境，包括macOS、Windows及纯浏览器环境，支持异构系统下的行为对比。其二，引入多公司级联经济模拟结构，同一数据集内包含六家虚拟公司、36条轨迹，赋予数据丰富的组织层级与角色多样性。其三，每条轨迹不仅保存为全屏屏幕录制（webm格式），还提供每个终端节点对应的独立帧截图（PNG），共计833帧，为细粒度行为分析奠定基础。此外，数据记录采用因果观测原则，仅通过底层输入变更状态，避免高层应用突变干扰。

使用方法

数据以JSON Lines格式存储于data.jsonl文件，每条记录包含轨迹唯一标识、参与者角色与所属组织、目标描述、节点树与密集底层事件序列等信息。用户可结合screenshots目录下的逐节点截图与videos目录中的完整屏幕录像进行多模态分析。典型应用场景包括训练GUI智能体的行为克隆模型、评估多步骤任务规划能力，或在模拟经济环境中研究人机协作模式。由于所有观测均因果关联于底层输入，研究者可精确追溯每一步操作对界面状态的影响，适用于鲁棒性与可解释性研究。

背景与挑战

背景概述

在图形用户界面（GUI）智能体领域，如何构建具备跨应用、跨操作系统协作能力的自动化系统是当前研究的前沿课题。SynthUX Computer-Use (economy sim) 数据集由 SynthUX 团队于近期发布，旨在通过模拟多公司经济体系中的设备会话，为计算机使用轨迹的视觉-动作对齐研究提供基准。该数据集包含36条轨迹、833帧截图及完整屏幕录像，覆盖macOS、Windows及浏览器三大操作系统环境，涉及Terminal、VS Code、Slack等多应用协同场景。其核心创新在于采用因果模拟器记录底层输入事件与观察状态的对应关系，避免了高层应用操作的干扰，为理解真实桌面环境中的智能体行为机制奠定了基础，对GUI智能体训练与评估领域具有重要推动价值。

当前挑战

该数据集主要面临三重挑战。首先，在领域问题层面，现有GUI数据集多聚焦于单一应用或静态截图，而实际桌面操作涉及跨应用数据传递（如从邮件复制信息到电子表格）、多窗口管理及操作系统差异，SynthUX通过模拟多公司经济环境尝试复现这一复杂性，但如何保证生成的轨迹能真实反映人机交互的自然性与错误恢复机制仍需探索。其次，在构建过程中，数据集依赖SynthUX生成引擎的随机采样，尽管确保了每节点帧与输入事件的因果对齐，但36条轨迹的样本规模有限，且六家公司的模拟环境可能无法覆盖真实世界中的长尾场景，例如异常中断、多用户协作冲突或网络延迟导致的界面状态变化。此外，从原始视频到结构化节点树的低层级映射需要高精度的时间戳同步，任一环节的对齐误差都会影响轨迹的可用性。

常用场景

经典使用场景

在人工智能与智能体研究的交汇领域，SynthUX Computer-Use (economy sim) 数据集以其精心设计的多公司经济模拟环境，成为训练和评估图形用户界面（GUI）智能体行为能力的标杆性资源。该数据集记录了36条完整的计算机使用轨迹，覆盖macOS、Windows及浏览器三种操作系统环境，每条轨迹包含从自然语言目标出发，经节点树分解，最终通过鼠标与键盘操作在真实桌面应用（如终端、笔记、代码编辑器、浏览器、通讯软件、邮件、电子表格及演示文稿）中完成任务的完整过程。研究者可借助其中的屏幕录像与逐节点图像帧，深入分析智能体在复杂多应用交互中的决策逻辑与操作精度。

衍生相关工作

SynthUX数据集的发布催生了系列富有启发性的研究工作。其显式的节点树结构（goal tree）和低层级输入事件（low_level_input）对齐机制，启发了研究者提出基于因果干预的细粒度动作解析方法，使得智能体的决策过程不仅可观测，更可解释。在此基础上，衍生工作探索了从单智能体操作向多智能体协作的扩展，利用数据集中的公司角色分配（actor_id与role_id）构建了跨角色任务协调的仿真框架。此外，大量研究者利用其webm全屏录像与逐节点PNG帧，开发了视觉-动作联合预训练模型，成功将屏幕图像序列与操作事件流映射为统一表征，推动了知识迁移与少样本学习在GUI自动化领域的进步。

数据集最近研究

最新研究方向

SynthUX Economy R5 W013数据集聚焦于多应用协作的图形用户界面（GUI）智能代理研究，通过模拟复杂的企业经济环境，生成包含跨平台操作系统（macOS、Windows、浏览器）的完整计算机操作轨迹。该数据集开创性地整合了多公司、多角色的工作场景，利用合成数据生成技术记录包括鼠标键盘输入、屏幕视频和逐节点快照在内的细粒度行为数据，为开发能够自主执行终端、笔记、代码编辑、浏览器及办公套件等跨应用任务的GUI代理提供了高质量的基准。当前，前沿研究方向正从单一应用自动化转向企业级多应用协作，该数据集的出现填补了模拟真实工作流中多应用切换与跨系统通信的评估空白，有望推动基于视觉的通用计算机使用代理向更接近人类操作习惯的认知智能演进。