jacob-valdez/synthux-economy-r4-w033

SynthUX计算机使用数据集（经济模拟r4）是一个基于计算机使用的视觉轨迹数据集，由SynthUX生成。每个记录代表一个模拟公司内的工作者设备会话：目标扩展为节点树，终端节点通过低级鼠标和键盘输入驱动真实的桌面模拟器应用程序（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频和每个节点的帧。数据集支持应用原生多应用程序执行（无工作台覆盖），每个参与者的内容多样性，跨操作系统消息传递，以及大型多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。数据集包含data.jsonl文件（每个渲染轨迹一条记录）、screenshots目录（每个终端节点的帧，在节点最后输入事件时拍摄）和videos目录（完整的屏幕录制）。记录模式包括轨迹ID、参与者ID、公司、角色、环境、目标、节点树、输入事件、观察结果、对齐和媒体信息。该版本包含36个轨迹、6家公司，环境分布为browser-os（12个）、macos-web-next（11个）和windows-web-next（13个）。数据集由SynthUX生成，观察结果是因果的，不使用高级应用突变。SynthUX Computer-Use Dataset — economy sim r4 is a dataset of grounded visual computer-use trajectories generated by SynthUX. Each record represents one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator applications (such as Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, etc.) through low-level mouse and keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. The dataset features app-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repository. It includes data.jsonl (one record per rendered trajectory), screenshots directory (a frame per terminal node, taken at that nodes last input event), and videos directory (the full screen recording). The record schema includes trajectory_id, actor_id, company, role_id, environment, goal, tree.nodes, trajectory.input_events, trajectory.observations, trajectory.alignment, and media. This build contains 36 trajectories, 6 companies, with environment distribution: browser-os (12), macos-web-next (11), windows-web-next (13). Generated with SynthUX, observations are causal (no high-level app mutation used during capture).

搜集汇总

数据集介绍

构建方式

该数据集由SynthUX框架在模拟经济环境中自动生成，涵盖多公司、多角色的计算机使用轨迹。每个数据记录对应一名员工在虚拟公司内的设备会话，从自然语言目标出发，扩展为节点树结构，终端节点通过底层鼠标与键盘输入驱动真实桌面模拟器应用（包括终端、笔记、代码编辑器、浏览器、即时通讯、邮件、表格与演示文稿等），最终记录完整的屏幕视频与逐节点帧序列。构建过程采用因果低层输入通道，避免高层应用变异干预，确保轨迹的真实性与可复现性。

使用方法

数据集可直接用于训练与评估基于视觉的图形界面代理模型。研究者可加载`data.jsonl`文件中的轨迹记录，提取自然语言目标与对应的屏幕帧序列，构造视觉问答或动作预测任务。低层输入事件序列为模仿学习提供精确的动作标签，而逐节点对齐信息则支持分层任务分解。建议使用HuggingFace Datasets库读取数据，并通过`videos/`与`screenshots/`目录获取多媒体资源，结合环境元数据（如操作系统类型、公司组织架构）进行跨域泛化能力分析。

背景与挑战

背景概述

SynthUX Computer-Use (economy sim) 数据集由 SynthUX 团队于近期创建，旨在填补多应用协同场景下 GUI 代理训练的空白。该数据集聚焦于模拟公司内部员工的设备操作轨迹，通过将自然语言目标分解为节点树，并驱动多个桌面应用（如终端、浏览器、邮件、办公套件等）完成低层级鼠标与键盘交互，生成包含屏幕视频和逐节点帧的详尽记录。数据集涵盖 6 家虚拟公司、36 条轨迹及 873 帧图像，支持跨操作系统（macOS、Windows、浏览器）的异构环境，为研究多应用协同、跨平台 GUI 代理提供了标准化基准。其独特的多公司经济模拟设计，不仅推动了 GUI 智能体从单一任务向复杂组织场景的迁移，还促进了人机协作与自动化领域的发展，成为评估代理在真实办公环境中鲁棒性与适应性的重要资源。

当前挑战

该数据集所解决的领域问题核心在于 GUI 代理在跨应用、多步骤任务中的泛化能力不足，传统数据集多局限于单应用或固定环境，难以模拟真实办公场景中的动态交互与组织协作。构建过程中面临三大挑战：其一，如何确保低层级输入事件（如鼠标键盘序列）与高层语义目标之间的一致性，数据生成需通过因果观测通道记录状态变化，避免应用级变异干扰；其二，多平台（macOS、Windows、浏览器）的异构输入输出协调，不同操作系统对事件捕获与渲染的差异需精确定义环境参数；其三，多公司经济模拟中的内容多样性维护，包括角色身份、跨组织消息流及协作任务的无缝衔接，以防止数据同质化导致模型过拟合。这些挑战使得数据集在规模有限（36条轨迹）的情况下，依然能提供丰富的粒度与场景覆盖。

常用场景

经典使用场景

SynthUX经济模拟数据集为多应用图形用户界面智能体的研究提供了坚实的实验基础。该数据集记录了模拟公司内多名员工在真实桌面环境中的完整操作轨迹，涵盖终端、笔记、代码编辑器、浏览器、即时通讯、邮件、办公套件等多种应用程序的跨应用协同。每个轨迹由自然语言目标驱动，扩展为结构化的节点树，终端节点对应鼠标与键盘的低级交互行为，形成从意图到执行的完整标注链条。这使得该数据集成为训练和评估计算机使用智能体在复杂多任务场景中自主规划、执行与纠错能力的经典基准，尤其适用于需要跨应用工作流理解的学术探索。

解决学术问题

该数据集精准回应了计算机使用智能体研究中对真实、细粒度、多应用交互数据的迫切需求。传统数据集往往局限于单一应用或模拟环境，难以反映实际办公场景中应用程序间错综复杂的信息流动与任务依赖。SynthUX通过构建包含六家模拟公司、三十六个完整轨迹的生态，为研究者提供了可复现的因果观测数据，解决了跨应用任务分解、多步骤操作序列的语义对齐、以及行为轨迹与目标意图之间映射关系建模等关键难题。其意义在于推动了从单一应用指令执行到多应用协作任务理解的研究范式转变，为构建更通用、更具鲁棒性的图形用户界面智能体奠定了数据基础。

实际应用

在实际产业应用中，该数据集可赋能企业级智能助手与自动化办公系统的开发。基于SynthUX所记录的多应用操作轨迹，开发者能够训练能够理解并执行复杂跨应用工作流程的智能体，例如自动完成从邮件中提取客户信息、在表格中更新订单状态、随后在通讯工具中发送通知的端到端任务。这类智能体有望显著提升办公效能，降低重复性手动操作的成本。此外，该数据集还可用于构建基于计算机视觉的屏幕理解系统，使其能够从真实桌面操作视频中学习应用布局与交互规律，从而辅助无障碍工具或远程协作软件的开发。

数据集最近研究

最新研究方向

SynthUX Economy R4 W033数据集聚焦于多应用协同的计算机使用轨迹生成，通过模拟公司经济环境中的员工设备操作，捕获细粒度的鼠标、键盘及脚本事件。该数据集前沿研究方向在于推动GUI智能体从单一应用操作向跨应用、多任务协同的复杂场景演进，尤其关注桌面模拟器（如终端、浏览器、办公套件）间的自然交互与状态对齐。结合近期AI Agent在自动化办公、企业流程模拟中的热点，该数据集为构建具备环境感知、多步规划能力的视觉语言模型提供了因果对齐的轨迹数据，对研究人机协作中的语义理解与动作执行具有重要基准意义。