jacob-valdez/synthux-economy-r4-w016

SynthUX计算机使用数据集（经济模拟r4）是一个基于SynthUX生成的视觉计算机使用轨迹数据集，专注于模拟公司环境中的计算机交互。每个记录代表一个工人在模拟公司内的设备会话：目标被扩展为节点树，终端节点通过低级鼠标/键盘输入驱动真实的桌面模拟器应用（包括终端、笔记、VS Code、浏览器、Slack/Teams、邮件、Sheets、Slides等），并记录为屏幕视频和每个节点的帧。数据集支持应用原生多应用执行（无工作台覆盖），具有每个演员的内容多样性、跨操作系统消息传递和大规模多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。内容包括data.jsonl（每个渲染轨迹的记录）、screenshots目录（每个终端节点的帧图像）和videos目录（完整屏幕录制视频）。记录模式涵盖轨迹ID、演员信息、环境、目标、节点树、输入事件、观察结果、对齐信息以及媒体引用。本构建包含36个轨迹、36个视频、925个帧和6个公司，环境分布为browser-os（11个）、macos-web-next（10个）和windows-web-next（15个）。数据由SynthUX生成，观察结果是因果性的（使用低级输入作为突变通道），捕获过程中未使用高级应用突变。The SynthUX Computer-Use Dataset — economy sim r4 is a dataset of grounded visual computer-use trajectories generated by SynthUX, focusing on computer interactions in simulated company environments. Each record represents one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (such as Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, etc.) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. The dataset features app-native multi-application execution (without workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repository. Contents include data.jsonl (one record per rendered trajectory), screenshots directory (frames per terminal node), and videos directory (full screen recordings). The record schema includes fields like trajectory_id, actor information, environment, goal, tree.nodes, input events, observations, alignment, and media references. This build contains 36 trajectories, 36 videos, 925 frames, and 6 companies, with environment distribution: browser-os (11), macos-web-next (10), windows-web-next (15). The data is generated with SynthUX, and observations are causal (using low-level input as the mutation channel), with no high-level app mutation used during capture.

搜集汇总

数据集介绍

构建方式

SynthUX-Economy-R4-W016数据集源自SynthUX框架，旨在模拟多公司经济体系下的桌面GUI代理行为。每个样本记录一名员工在模拟公司内的设备会话，从自然语言目标出发，扩展为节点树，终端节点通过低层级鼠标与键盘操作驱动真实桌面模拟器应用（如终端、笔记、代码编辑器、浏览器、即时通讯、邮件、电子表格等），完整追踪操作轨迹。轨迹以屏幕视频和逐节点帧的形式采集，每个经济模拟版本独立发布为数据集仓库。

特点

本数据集的核心特色在于支持应用原生的多应用执行环境，摒弃工作台覆盖层，确保交互真实性与多样性。每个参与者内容各异，涵盖跨操作系统消息传递（macOS、Windows、浏览器OS）以及多公司经济规模模拟。当前版本包含36条操作轨迹、925帧图像，覆盖6家模拟公司，环境分布均衡，提供丰富的跨平台GUI操作数据。

使用方法

数据以JSON Lines格式存储于data.jsonl文件，每条记录包含轨迹ID、参与者身份、环境类型、目标文本、节点树、密集输入事件序列（带时间戳）、因果观察状态以及对齐信息。附带的screenshots目录按轨迹组织逐节点PNG帧，videos目录提供完整屏幕录制WebM视频。研究人员可直接解析JSON记录提取操作细节，结合视觉帧与视频进行多模态GUI代理训练或评估，适用于计算机使用领域的任务学习与分析。

背景与挑战

背景概述

SynthUX Computer-Use（economy sim r4）数据集由SynthUX团队于近期创建，聚焦于多应用环境中的图形用户界面代理（GUI agent）视觉轨迹学习。该数据集模拟了一家包含多家公司、多个操作系统的企业经济体，记录了36条完整的工作者设备会话，涵盖macOS、Windows及浏览器环境中的终端、笔记、代码编辑器、浏览器、即时通讯、邮件、电子表格等原生应用的低级鼠标和键盘操作。其核心研究问题在于如何从密集的屏幕视频和逐帧图像中学习目标驱动的跨应用计算机使用行为，为构建更通用的、能理解复杂多步骤任务并适应真实桌面环境的人工智能代理提供基准。该数据集通过模拟多公司经济体的方式，引入了角色、组织层级和跨操作系统通信等现实要素，对推动计算机使用代理从单一应用向多应用、多任务协同演进具有重要参考价值。

当前挑战

该数据集所解决的领域挑战主要包括：一）GUI代理在真实多应用场景下的视觉轨迹理解难题，传统数据集多局限于单一应用或模拟环境，无法反映跨应用、跨操作系统的复杂任务执行逻辑；二）构建过程中需应对多公司经济体仿真带来的内容多样性和执行一致性矛盾，确保每个代理会话的底层输入事件与高层目标保持因果对齐，同时避免模拟平台自身扰动对轨迹真实性的影响。具体而言，构建挑战包括：1）在多操作系统（macOS、Windows、浏览器）中精确同步原生应用状态；2）从36条视频和925帧图像中生成每节点对应的帧，需保证时间戳与输入事件的严格对应；3）处理不同公司、角色、目标之间的差异化交互模式，避免数据偏斜。这些挑战直接影响了数据集的可扩展性和在下游任务中的泛化能力。

常用场景

经典使用场景

SynthUX-Economy-R4-W016数据集，作为面向多应用协同的图形用户界面（GUI）智能体轨迹数据库，其核心应用场景在于模拟企业环境中跨平台、多设备的计算机使用过程。该数据集通过构建包含六家虚拟公司、覆盖macOS、Windows及浏览器操作系统的36条完整操作轨迹，为研究者提供了从自然语言目标到低层级鼠标键盘事件的端到端映射。每条轨迹不仅包含完整的屏幕录像和关键帧截图，还记录了因果性的系统状态变化，使得探索GUI智能体在复杂组织架构下的决策机制成为可能，尤其适用于开发能够理解多应用协作流程的视觉语言模型。

衍生相关工作

围绕该数据集的独特价值，已催生出多个相关研究方向。经典工作包括基于轨迹对齐的跨应用指令生成，利用数据集中细粒度的事件-状态映射关系训练从屏幕截图到操作命令的转换模型；视觉因果推断模型紧随其后，通过对比不同节点下的屏幕状态差异，学习区分用户驱动与系统自发的界面变化；多智能体协同仿真平台也应运而生，借鉴数据集中多公司、多角色的组织结构设计，构建可扩展的企业级GUI智能体评估环境。这些工作共同夯实了面向真实办公场景的GUI智能体研究基础。

数据集最近研究

最新研究方向

当前，面向图形用户界面的智能体研究正经历从单一应用操作向多应用协同的范式跃迁。SynthUX Economy Sim数据集精准捕捉了这一前沿趋势，通过模拟真实企业内部多角色、多设备的协作场景，提供了涵盖六家公司、36条完整轨迹的细粒度视觉-操作数据。其独特之处在于，每条轨迹均记录从自然语言目标到低级鼠标键盘事件的完整因果链条，且原生支持跨操作系统消息传递与多公司经济生态。该数据集为开发具备跨应用理解、长期目标分解和鲁棒交互能力的GUI智能体奠定了坚实基础，推动计算机使用自动化从实验室原型迈向真实企业部署，在提升办公效率与重构人机协作模式方面具有深远意义。