jacob-valdez/synthux-economy-r4-w054

SynthUX计算机使用数据集——经济模拟r4是一个由SynthUX生成的基于视觉的计算机使用轨迹数据集。每个记录代表一个工作者在模拟公司内的设备会话：一个目标扩展为节点树，终端节点通过低级鼠标/键盘输入驱动真实的桌面模拟器应用程序（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频加上每个节点的帧。数据集支持应用程序原生的多应用程序执行（无工作台覆盖）、每个参与者内容的多样性、跨操作系统消息传递和大型多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。The SynthUX Computer-Use Dataset — economy sim r4 is a dataset of grounded visual computer-use trajectories generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. It features app-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo.

搜集汇总

数据集介绍

构建方式

在用户体验研究领域，模拟真实世界中的计算机交互行为对于开发智能图形界面代理至关重要。SynthUX-economy-r4-w054数据集通过创新的“合成用户体验”（SynthUX）框架构建，模拟了一个包含多家公司的虚拟经济环境。每个数据记录对应一名虚拟工作者在模拟公司内的设备会话过程：首先定义自然语言目标，随后将其展开为节点树结构，终端节点通过低层级的鼠标与键盘输入驱动真实的桌面模拟器应用，包括终端、笔记、代码编辑器、浏览器、即时通讯、邮件、表格与幻灯片等。整个交互过程被完整记录为屏幕视频与逐节点帧图像，且观察结果严格遵循因果逻辑，仅依赖于输入事件的变化，未使用任何高层应用状态突变，保证了数据的真实性与可复现性。

特点

该数据集的核心特点在于其高度的生态真实性、多应用协同性与内容多样性。每个轨迹均来源于多公司经济模拟中的独立角色，涵盖了从macOS、Windows到纯浏览器操作系统的多种桌面环境，确保了跨平台行为的覆盖。数据集包含36条轨迹、1063帧关键帧图像与36段完整屏幕录制视频，且每条轨迹均携带详细的角色身份、公司归属、岗位职责等元数据，为分析不同用户角色在复杂多应用场景下的操作模式提供了丰富素材。此外，通过“每演员内容多样性”与“跨操作系统消息”机制，数据集中包含了多应用间的真实交互，如通过即时通讯软件协作、编辑文档等，极大增强了数据的生态效度。

使用方法

本数据集适用于训练与评估具备图形界面操作能力的智能代理模型。使用者可通过加载data.jsonl文件读取每一条轨迹的结构化数据，包括自然语言目标、节点树、密集的低层级输入事件时间序列以及因果观察状态。结合screenshots目录下的逐节点PNG帧图像，可构建基于视觉与交互历史的多模态模型输入。videos目录中的webm全屏录制文件则提供了完整的时序视觉背景，适合用于视频理解或序列决策学习任务。建议研究者重点关注轨迹中的alignment字段，该字段将观察状态与输入事件范围映射至具体节点，有助于实现细粒度的任务分解与状态追踪。数据集已托管于HuggingFace，可通过标准datasets库直接加载使用。

背景与挑战

背景概述

SynthUX Computer-Use数据集由SynthUX团队于近期构建，专注于模拟多应用桌面环境下的图形用户界面（GUI）智能体自主操作轨迹。该数据集以虚拟公司内员工设备会话为基本单元，通过将自然语言目标分解为节点树并驱动终端模拟器应用（如终端、笔记、VS Code、浏览器、协作通讯工具、办公套件等）的低层级鼠标键盘输入，忠实记录完整的屏幕视频与逐节点观测帧。其核心研究问题在于提供大规模、多公司经济模拟的精细化、因果一致的GUI操作数据，填补了现有数据集在跨应用协调操作与真实桌面环境模拟方面的空白，为具身智能体在复杂企业场景中的规划、推理与执行能力研究奠定了坚实基础。

当前挑战

该数据集面临的主要挑战包括：1) 领域问题层面，GUI智能体需应对多应用间复杂的任务分解与动态协调，如何从自然语言目标中自主生成可执行的、跨应用的操作序列，并保证各步骤的因果一致性，是当前自主计算机使用领域的核心难题。2) 构建过程层面，Sim环境需模拟多个桌面操作系统（macOS、Windows）及浏览器环境，不同系统的交互方式与API差异极大，难以统一以低层级事件驱动观测；同时，确保每个公司内角色多样、内容不重复的演员（actor）产生具有真实业务逻辑的节点树，并规避高层级应用注入带来的因果污染，要求生成框架具备高度可控性与可扩展性，技术实现复杂度极高。

常用场景

经典使用场景

在计算语言学与人工智能交叉领域，SynthUX Computer-Use 数据集为多应用图形用户界面代理研究提供了崭新的实验平台。其核心使用场景在于模拟企业环境中工作者跨应用完成复杂目标的完整轨迹，涵盖终端、笔记、代码编辑器、浏览器、即时通讯、邮件、表格与幻灯片等十余种桌面应用。每个轨迹由自然语言目标驱动，经节点树展开为底层鼠标与键盘操作序列，并配有全屏视频与逐帧截图，使得研究者能够精确追踪用户在不同应用程序间的切换、信息检索、数据处理与内容创作行为。该数据集尤为适合用于训练与评估基于视觉的 GUI 代理模型，尤其是在需要理解多步操作逻辑与跨应用依赖关系的任务上表现突出。

衍生相关工作

SynthUX 数据集的发布催生了一系列衍生研究工作，其中之一是基于视觉一致性的轨迹编码器设计，旨在从视频帧中高效提取跨应用操作的状态表示。另一项重要工作是开发分层动作预测模型，利用数据集提供的节点树结构实现从高层目标到底层事件的端到端生成。此外，研究者借鉴该数据集的跨公司多角色设计，探索了个性化代理学习范式——即根据不同的角色头衔与公司文化调整代理的行为策略。在评测方面，基于该数据集的多重对齐标注（输入事件-观察-节点 ID）催生了细粒度任务成功率评估指标，能够区分部分成功与完全失败的轨迹，推动了更可靠的 GUI 代理性能度量方法的发展。

数据集最近研究

最新研究方向

在图形用户界面（GUI）代理领域，SynthUX-Economy-R4-W054数据集聚焦于多应用协同与合成轨迹生成的前沿方向。该数据集通过模拟多公司经济体系中的桌面操作场景，生成跨操作系统（macOS、Windows、浏览器）的细粒度低层鼠标与键盘事件序列，并配备全屏视频与逐帧截图，为训练自主操控计算机的智能体提供了高度逼真的训练与评估资源。其核心创新在于实现了原生多应用并行执行与跨平台消息交互，突破了传统单应用或孤立任务模拟的局限。当前，合成数据与模拟环境已成为解决真实GUI交互中数据稀缺、标注成本高昂等瓶颈的关键路径，该数据集通过构建包含多种角色（如员工、管理者）与动态目标的复杂企业情境，推动了GUI代理在自动化办公、流程模拟及人机协作等热点领域的实证研究，为开发具备泛化能力与多步推理能力的智能系统奠定了数据基础。