jacob-valdez/synthux-economy-r4-w017

SynthUX计算机使用数据集（经济模拟r4版）是一个基于SynthUX生成的视觉计算机使用轨迹数据集。每个记录代表模拟公司中一个工人的设备会话：目标扩展为节点树，终端节点通过低级鼠标/键盘输入驱动真实的桌面模拟器应用程序（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察轨迹被记录为屏幕视频加上每个节点的帧。该数据集支持应用原生的多应用执行（无工作台覆盖），具有每个参与者内容多样性、跨操作系统消息传递和大规模多公司经济模拟等特点。每个经济模拟作为独立的数据集存储库发布。数据集包含data.jsonl文件（每个渲染轨迹一条记录）、screenshots目录（每个终端节点的帧图像）和videos目录（完整屏幕录制视频）。记录模式包括轨迹ID、参与者信息、环境、目标、节点树、输入事件、观察结果、对齐信息和媒体引用。本版本包含36个轨迹、986帧、6家公司，环境分布为browser-os（18个）、macos-web-next（8个）和windows-web-next（10个）。数据由SynthUX工具生成，观察基于因果模拟（突变通道为低级输入）。The SynthUX Computer-Use Dataset — economy sim r4 is a dataset of grounded visual computer-use trajectories generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (such as Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. It features app-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo. The dataset includes data.jsonl (one record per rendered trajectory), screenshots directory (frames per terminal node), and videos directory (full screen recordings). The record schema covers trajectory_id, actor information, environment, goal, node tree, input events, observations, alignment, and media references. This build contains 36 trajectories, 986 frames, 6 companies, with environment distribution: browser-os (18), macos-web-next (8), windows-web-next (10). Generated with SynthUX, observations are causal (mutation channel = low_level input).

搜集汇总

数据集介绍

构建方式

本数据集基于SynthUX框架构建，模拟了一个多公司经济体系中的计算机使用场景。每条记录对应一名员工在模拟公司内的设备会话，自然语言目标被分解为节点树，终端节点通过底层鼠标/键盘输入驱动真实桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等）。执行过程采用应用原生多应用协作模式，无工作台覆盖层，并通过跨操作系统消息实现交互。每个经济模拟版本均作为独立的数据集仓库发布，确保内容的一致性与可复现性。

特点

该数据集的核心特点在于其真实性与多样性。数据包含36条完整轨迹、986个帧及6个模拟公司，覆盖macOS、Windows和浏览器三种操作系统环境。每条轨迹均包含密集的低级输入事件、因果模拟器状态观察结果以及节点对齐信息，确保数据粒度的精细。此外，通过多公司经济模拟实现角色、目标与内容的差异化，为大规模图形用户界面智能体研究提供了丰富的训练与评估素材。

使用方法

数据集以JSON Lines格式存储，其中`data.jsonl`文件包含每条轨迹的结构化记录，包括轨迹ID、演员信息、环境类型、目标文本、节点树及事件序列。屏幕截图按`trajectory_id`和`node_id`组织在`screenshots`目录下，全屏视频则存放于`videos`目录。用户可依据`trajectory.input_events`字段获取低层事件流，利用`trajectory.alignment`字段将观察结果与节点对应，从而复现或分析智能体的决策过程。

背景与挑战

背景概述

在图形用户界面（GUI）代理领域，多应用协同操作与真实商业场景的模拟长期面临数据匮乏的困境。为此，SynthUX研究团队于2024年发布了synthux-economy-r4-w017数据集，旨在通过合成轨迹填补这一空白。该数据集由模拟公司内员工的设备会话记录构成，涵盖终端、笔记、代码编辑器、浏览器、即时通讯、邮件及办公套件等多应用环境，每个轨迹均包含底层鼠标键盘事件、屏幕录像及逐帧截图。其核心研究问题聚焦于如何生成具备跨应用、跨操作系统交互能力的多角色、多公司经济模拟数据，为GUI代理的泛化学习提供真实且可扩展的基准。该数据集以Apache-2.0许可开源，推动了计算机使用任务与合成数据生成领域的交叉研究。

当前挑战

该数据集所解决的领域问题主要是GUI代理在真实多应用环境中执行复杂目标时的泛化能力不足。构建过程中面临多重挑战：其一，需确保每个经济模拟中代理动作的多样性，避免单一角色行为模式导致的数据偏差；其二，跨操作系统（macOS、Windows与浏览器）的底层控制接口差异大，需统一低层级事件捕获与因果关系建模；其三，多公司、多应用堆叠场景下，需平衡轨迹密度与存储开销，例如本版本仅含36条轨迹却产生986张帧图；其四，合成数据的生态效度问题，即如何保证模拟的交互模式能忠实反映真实用户行为，而非仅过拟合于预设规则。

常用场景

经典使用场景

在人工智能与图形用户界面交互的前沿领域，SynthUX Economy R4 W017 数据集凭借其独特的合成多应用计算机使用轨迹，成为训练和评估GUI智能体的宝贵资源。其核心使用场景聚焦于模拟企业内部员工在多个桌面应用（如终端、浏览器、邮件、即时通讯等）之间协同完成复杂任务的过程。每条数据记录了一个完整的工作会话，包含自然语言目标驱动的节点树执行路径、低层级鼠标键盘操作序列、屏幕录像以及每节点对应的屏幕截图，为多步推理、跨应用操作理解和视觉 grounding 的研究提供了高质量的原材料。

衍生相关工作

SynthUX Economy R4 W017 数据集的发布催生了一系列衍生工作。研究者基于其细粒度轨迹与视频帧，开发了用于多步GUI任务规划与回溯的基准测试集，并改进或提出了模仿学习方法，使智能体能够从稀疏的节点目标中学习鲁棒的跨应用转移策略。在其基础上，涌现出针对多角色经济模拟中的对话与协作建模的工作，以及利用其因果对齐特性进行反事实推理和噪声轨迹优化训练的探索。此外，该数据集也启发了针对复杂GUI环境中的少样本学习和指令跟随能力的专项数据集构建，推动了计算机使用领域从单一应用向生态系统级智能体的范式转变。

数据集最近研究

最新研究方向

在图形用户界面（GUI）智能体与多应用协同操作的前沿探索中，SynthUX经济模拟数据集（synthux-economy-r4-w017）标志着计算机使用轨迹研究从单一应用向跨平台、多角色企业生态的重大跃迁。该数据集通过模拟多家公司内员工在真实桌面环境（涵盖终端、浏览器、办公套件等）中的完整操作流程，生成了136条带有低层级鼠标/键盘事件对齐的视觉轨迹。其核心创新在于将智能体的任务执行置于带有多样化角色、跨操作系统通信与经济网络约束的虚拟企业场景中，从而让研究者能够训练和评估GUI智能体在复杂社会技术系统下的决策能力——例如在会议、编码、文档编辑与消息传递之间的动态切换与资源协调。这一方向紧密呼应了近期关于“复合性AI智能体”和“企业级工作流自动化”的热点需求，为从静态指令跟随转向动态、多目标、多智能体协作的GUI自主化研究提供了关键的、低层语义对齐的基准平台。