jacob-valdez/synthux-economy-r4-w011

SynthUX计算机使用数据集是一个基于经济模拟的视觉计算机使用轨迹数据集，由SynthUX生成。每个记录代表一个工作者在模拟公司环境中的设备会话：目标扩展为节点树，终端节点通过低级别鼠标和键盘输入驱动真实的桌面模拟器应用程序（包括终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频以及每个节点的帧。数据集支持应用原生多应用程序执行（无工作台覆盖），每个参与者的内容多样性，跨操作系统消息传递，以及大型多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。数据集包含数据文件（data.jsonl）、截图（screenshots）和视频（videos），记录模式包括轨迹ID、参与者信息、环境、目标、节点树、输入事件、观察结果、对齐信息和媒体引用。统计信息显示本版本包含36个轨迹、1042帧、6个公司，环境分布为browser-os（13）、macos-web-next（8）和windows-web-next（15）。数据生成使用SynthUX（synthux.multicompany.day.v1），观察结果是因果的（突变通道为低级别输入），捕获过程中未使用高级别应用程序突变。The SynthUX Computer-Use Dataset is a grounded visual computer-use trajectories dataset generated by SynthUX, based on economy simulations. Each record represents one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator applications (such as Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, etc.) through low-level mouse and keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. The dataset features app-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repository. The dataset includes data files (data.jsonl), screenshots (screenshots), and videos (videos). The record schema covers trajectory ID, actor information, environment, goal, node tree, input events, observations, alignment, and media references. Statistics for this build show 36 trajectories, 1042 frames, 6 companies, with environment distribution: browser-os (13), macos-web-next (8), windows-web-next (15). It is generated with SynthUX (synthux.multicompany.day.v1), where observations are causal (mutation channel = low_level_input) and no high-level app mutation is used during capture.

搜集汇总

数据集介绍

构建方式

该数据集源自SynthUX框架，专注于模拟企业环境中员工通过图形用户界面（GUI）操作计算机的轨迹。构建方式上，系统首先为每个虚拟员工设定一个自然语言描述的目标，该目标被逐步分解为一棵节点树，其中终末节点直接驱动模拟桌面应用（如终端、笔记、代码编辑器、浏览器、邮件客户端等）的低级鼠标与键盘操作。整个操作过程被完整记录为屏幕视频及每个终末节点的截图，同时捕获密集的输入事件流与因果观测状态，确保轨迹的真实性与可复现性。每个轨迹对应一位虚拟员工在模拟公司内部的单次设备会话，多公司、多角色的经济模拟结果独立发布为该数据集仓库。

特点

该数据集的核心特点在于其原生多应用执行环境与大规模多公司经济模拟的融合。与常见的覆盖层式工作台不同，数据集中所有操作均在模拟操作系统（macOS、Windows、浏览器）内原生完成，确保交互的真实性。每个参与者拥有独立的角色、职称与公司归属，内容多样性通过跨操作系统消息传递与角色差异化得到增强。数据集包含36条轨迹、1042帧截图，覆盖6家模拟公司，操作环境分布均衡。作为因果观测数据，其变异通道严格限定于低级输入，未引入高级应用层面的突变，保证了跟踪的一致性与可分析性。

使用方法

数据集以标准格式提供，核心文件为data.jsonl，每行记录一条完整轨迹，包含轨迹ID、角色信息、执行环境、自然语言目标、节点树、密集输入事件序列、因果观测状态及对齐链接。媒体文件分别存储在screenshots/与videos/目录下，分别存放按轨迹与节点ID组织的截图及全屏幕视频（webm格式）。用户可直接加载JSONL文件进行轨迹分析、GUI代理训练或人机交互模拟研究，也可结合截图与视频数据进行多模态学习。数据采用Apache 2.0许可，便于学术研究与商业应用中的灵活使用与二次开发。

背景与挑战

背景概述

SynthUX Computer-Use Economy Simulation (r4) 数据集由 SynthUX 研究团队于近期创建，专注于模拟企业内部多应用场景下的图形用户界面（GUI）代理行为。该数据集的诞生源于人机交互与自动化代理领域对高保真、多任务轨迹数据的迫切需求，旨在弥合合成数据与真实用户行为之间的鸿沟。通过模拟跨操作系统（macOS、Windows、浏览器）的复杂工作流，涉及终端、文本编辑器、通信工具及办公套件等多种应用，数据集为研究多应用协作、视觉 grounding 及低级输入控制的代理模型提供了独特基准。其发布受到计算机视觉与具身智能社区的广泛关注，成为评估 GUI 代理鲁棒性和泛化能力的重要资源。

当前挑战

该数据集面临的核心挑战包括：领域问题层面，GUI 代理需应对多变界面布局与跨应用依赖关系，传统预定义规则难以捕捉真实用户行为中的随机性与歧义性，导致模型在未见环境中的泛化脆弱。构建过程层面，生成高质量轨迹需平衡模拟效率与细粒度控制，如确保每个终端节点对应自然语言目标的原子操作，避免高层应用状态篡改带来的因果混淆。此外，多公司经济模拟引入了复杂账户权限与内容多样性，而跨操作系统差异（如鼠标/键盘事件映射）进一步增加了数据采集的难度。这些挑战共同制约了数据集规模扩展与下游任务的可靠性。

常用场景

经典使用场景

SynthUX Economy R4 W011数据集专为多应用协同的图形用户界面代理（GUI Agent）研究而设计，其核心使用场景在于模拟真实商业环境中的计算机操作任务。每个数据记录均源自模拟公司内一位员工的设备会话，涵盖从自然语言目标到终端节点树、再到桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等）的低级鼠标与键盘输入操作。通过捕获完整的屏幕视频及每节点帧图像，该数据集为训练和评估能够跨应用完成复杂多步骤任务的GUI代理提供了高质量、细粒度的行为轨迹，是推动自主办公助手发展的关键基准。

实际应用

在实际部署中，该数据集助力构建能够自动化完成企业日常办公流程的智能代理系统。例如，代理可模拟员工进行跨应用的数据检索、文档编辑、信息同步与团队协作沟通，如从邮件中提取指令、在电子表格中更新数据、通过Slack发送报告。其多公司经济模拟特性使得代理能适应不同组织角色（如财务、运营）的差异化工作流，适用于企业级RPA（机器人流程自动化）升级、虚拟员工助手开发及软件测试自动化等领域。数据集提供的完整视频与帧级标注，也为低代码平台中的用户意图识别和错误诊断提供了训练素材。

衍生相关工作

该数据集衍生了一系列开创性学术工作，主要集中在多模态GUI代理的学习框架与评估体系。基于其轨迹数据，研究者提出了层次化目标分解模型（如将高层“准备季度报表”分解为子任务链）和跨应用状态跟踪方法。部分工作利用帧级观测与低级动作序列，训练了端到端的视觉-动作策略网络，并验证了在未见过的公司拓扑与应用组合上的零样本迁移能力。此外，数据集的因果设计催生了基于反事实推理的代理鲁棒性分析工具，以及针对多公司经济模拟的代理协作与竞争策略研究，为构建可解释、可审计的自主系统奠定了方法基础。