jacob-valdez/synthux-economy-r5-w030

SynthUX计算机使用数据集——经济模拟r5是一个由SynthUX生成的、基于视觉的计算机使用轨迹集合。每个记录代表一个工作者在模拟公司内的设备会话：目标扩展为节点树，终端节点通过低级别鼠标/键盘输入驱动真实桌面模拟器应用（包括终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频以及每个节点的帧。数据集支持应用原生多应用程序执行（无工作台覆盖），具有每个参与者内容多样性、跨操作系统消息传递和大型多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。内容包括data.jsonl（每个渲染轨迹一个记录）、screenshots（每个终端节点的帧，在节点最后一个输入事件时拍摄）和videos（完整屏幕录制）。记录模式涵盖轨迹ID、参与者ID、公司、角色、标题、环境、目标、节点树、输入事件、观察、对齐和媒体文件。统计显示有36个轨迹、928帧、6个公司，按环境分为browser-os（10）、macos-web-next（11）和windows-web-next（15）。数据集由SynthUX生成，观察是因果的（突变通道为低级别输入），在捕获过程中未使用高级别应用突变。SynthUX Computer-Use Dataset — economy sim r5 is a collection of grounded visual computer-use trajectories generated by SynthUX. Each record represents one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (such as Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, etc.) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. It features app-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo. Contents include data.jsonl (one record per rendered trajectory), screenshots (a frame per terminal node, taken at that nodes last input event), and videos (the full screen recording). The record schema includes fields like trajectory_id, actor_id, company, role_id, title, env, goal, tree.nodes, trajectory.input_events, trajectory.observations, trajectory.alignment, media.video, and media.frames. Statistics show 36 trajectories, 928 frames, 6 companies, and distribution by env: browser-os (10), macos-web-next (11), windows-web-next (15). Provenance indicates it was generated with SynthUX, with causal observations (mutation channel = low_level_input) and no high-level app mutation used during capture.

搜集汇总

数据集介绍

构建方式

本数据集基于SynthUX框架生成，通过模拟企业内部的多应用协同工作环境，构建了真实的图形界面计算机操作轨迹。每个数据记录对应一名虚拟员工在模拟公司内的设备会话，系统首先将自然语言目标展开为节点树，终端节点通过低层级鼠标和键盘输入驱动桌面模拟器应用（如终端、记事本、VS Code、浏览器、即时通讯工具、电子表格等），最终将观察到的操作轨迹录制为屏幕视频及各节点对应的帧图像。所有轨迹均为因果性生成，仅通过低层级输入改变模拟状态，未引入高层应用层面的突变操作。

特点

该数据集的核心特点在于其原生多应用执行能力，摒弃了工作台覆盖层，直接在模拟操作系统内实现跨应用交互。数据涵盖macOS、Windows及浏览器三种桌面环境，包含6家虚拟公司、36条操作轨迹及928个帧图像，每条轨迹均包含丰富的元信息，如用户身份、组织角色、自然语言目标、节点树结构、低层级输入事件序列及因果模拟状态。特别地，数据集中实现了跨操作系统的消息传递与大规模多公司经济模拟，保证了每个虚拟角色的内容多样性。

使用方法

数据集以HuggingFace格式发布，主文件为data.jsonl，每条记录对应一个渲染轨迹，包含轨迹唯一标识符、环境类型、目标文本、节点信息及完整的输入事件时间序列。屏幕录制以webm格式存储于videos目录下，每个终端节点对应的帧图像以PNG格式存放于screenshots目录。研究者可通过解析JSON记录中的trajectory.input_events、trajectory.observations及trajectory.alignment字段，获取操作事件的时间序列、因果状态及节点映射关系，适用于GUI代理训练、计算机使用行为分析及多应用工作流理解等研究场景。

背景与挑战

背景概述

SynthUX Computer-Use (economy sim) 数据集由 SynthUX 团队于近年创建，专注于生成基于视觉的计算机操作轨迹，模拟多应用协同工作环境。该数据集的核心研究问题在于如何通过合成数据生成逼真的图形用户界面（GUI）代理行为，以支持自主系统在虚拟企业场景中的操作训练与评估。数据集包含了来自6家模拟公司的36条完整操作轨迹，涵盖macOS、Windows及浏览器三种仿真环境，每条轨迹均记录为屏幕视频及逐节点帧图像。其独特之处在于跨应用、跨操作系统的原生交互执行，避免了常见的工作台覆盖层干扰，为多智能体经济模拟研究提供了高保真训练资源，对GUI代理领域的自主决策与泛化能力研究产生了重要影响。

当前挑战

该数据集主要解决了GUI代理领域的关键挑战：首先，在领域问题层面，传统数据集多聚焦于孤立应用或静态界面操作，缺乏对多应用协同、跨平台交互及动态经济模拟场景的覆盖，而SynthUX通过模拟企业级多角色协作环境，填补了这一空白。其次，在数据构建过程中，团队面临了如何生成因果一致轨迹的难题——通过纯低级输入（鼠标/键盘事件）驱动模拟器，避免高层应用突变带来的伪相关性，同时确保每个终端节点的屏幕帧与操作事件精准对齐。此外，跨6家公司的经济模拟需要维持多智能体间的内容多样性与逻辑一致性，这在数据规模和复杂度上提出了显著挑战，最终生成了36条轨迹、928帧图像及完整屏幕录像，验证了方法的可行性。

常用场景

经典使用场景

SynthUX-Economy-R5-W030数据集的核心价值在于其模拟了多公司经济体系下的计算机使用轨迹，为GUI智能体研究提供了高保真、多应用交互的基准。研究者可借助该数据集训练和评估智能体在复杂工作流中完成自然语言目标的能力，例如跨应用（终端、笔记、代码编辑器、浏览器、通讯软件等）协同操作、多步骤任务分解与执行，以及屏幕录制与帧级观察的联合建模。该数据集特别适用于开发能够理解桌面操作系统底层交互逻辑的自主代理，其包含的低级鼠标/键盘事件序列和因果状态观察，为细粒度动作预测和规划提供了丰富素材。

衍生相关工作

该数据集衍生出的经典工作主要围绕其核心架构展开：一方面，SynthUX生成框架本身已催生出一系列研究，包括如何通过因果观测通道（low_level_input）来提升智能体决策透明度的因果模型，以及如何利用跨操作系统轨迹数据进行域适应训练的方法。另一方面，数据集中多公司经济模拟的特性启发了对组织规模与任务复杂度关系的量化分析，例如通过对比6家不同公司（如初创与大型企业）的交互模式差异，研究者开发了角色自适应任务分解算法。此外，基于其帧级对齐标注，涌现出对屏幕视觉信息与底层事件序列的联合嵌入学习技术，显著提升了GUI智能体对未见过界面元素的零样本理解能力。

数据集最近研究

最新研究方向

当前，基于图形用户界面（GUI）的智能体研究正朝着多应用协同与真实工作流模拟方向演进。SynthUX Economy数据集通过构建模拟公司内的多工人设备会话，生成了包含终端、代码编辑器、浏览器、办公套件等跨应用操作的细粒度轨迹，并配有屏幕视频与逐帧截图。这一设计紧密契合了前沿的“计算机使用（computer-use）”研究热点——即让AI智能体像人类一样通过鼠标键盘操作完成复杂任务。该数据集通过引入多公司经济模拟与跨操作系统消息传递，打破了单一应用场景的局限，为评估智能体在多任务、多应用环境下的规划与执行能力提供了首个可复现的基准，对推动GUI智能体从实验室走向真实企业部署具有里程碑式的意义。