jacob-valdez/synthux-economy-r4-w013

SynthUX计算机使用数据集——经济模拟r4是一个由SynthUX生成的基于视觉的计算机使用轨迹数据集。每个记录代表一个工作者在模拟公司环境中的设备会话：一个目标被扩展为节点树，终端节点通过低级别鼠标/键盘输入驱动真实的桌面模拟器应用程序（包括终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频以及每个节点的帧。数据集支持应用原生的多应用程序执行（无工作台覆盖），具有每个参与者的内容多样性、跨操作系统消息传递和大型多公司经济模拟功能。每个经济模拟作为独立的数据集仓库发布。数据集包含数据文件、截图和视频，记录模式涵盖轨迹ID、参与者信息、环境、目标、节点树、输入事件、观察结果、对齐信息和媒体文件。统计显示轨迹数量为36，视频36个，帧928个，公司6家，环境分布为browser-os（19）、macos-web-next（8）、windows-web-next（9）。数据集由SynthUX生成，观察结果是因果的（突变通道为低级别输入），在捕获过程中未使用高级别应用程序突变。SynthUX Computer Usage Dataset – Economic Simulation r4 is a vision-based computer usage trajectory dataset generated by SynthUX. Each record represents a device session of a worker in a simulated corporate environment: a target is expanded into a node tree, and terminal nodes drive real desktop simulator applications (including terminals, Notes, VS Code, browsers, Slack/Teams, email, spreadsheets, slides, etc.) via low-level mouse/keyboard inputs. The recorded trajectories are saved as screen videos and frames for each node. The dataset supports native multi-application execution (without workspace overlay), and features content diversity per participant, cross-OS messaging, and large-scale multi-corporate economic simulation capabilities. Each economic simulation is released as an independent dataset repository. The dataset includes data files, screenshots and videos, with recording modes covering trajectory ID, participant information, environment, target, node tree, input events, observations, alignment information and media files. Statistical data shows there are 36 trajectories, 36 videos, 928 frames, and 6 corporations. The environment distribution is browser-os (19), macos-web-next (8), and windows-web-next (9). The dataset is generated by SynthUX, where observations are causal (the mutation channel is low-level inputs), and no high-level application mutations were used during the capture process.

搜集汇总

数据集介绍

构建方式

SynthUX经济模拟数据集聚焦于计算机使用场景下多应用协同操作的轨迹生成。其构建核心在于模拟公司内每位员工的设备会话：以自然语言目标为起点，生成细粒度的节点树，其中终端节点通过低层级鼠标与键盘操作驱动真实桌面模拟应用——涵盖终端、记事本、代码编辑器、浏览器、即时通讯工具、邮件客户端及办公套件等。每个轨迹均以屏幕视频及各节点对应的帧图像忠实记录，并由SynthUX系统在因果观测框架下自动生成，确保追踪过程完全基于底层输入事件，规避高层应用干扰。

特点

本数据集具有鲜明的多应用原生执行特性，摒弃了工作台叠加层的设计，实现跨操作系统通信与角色内容多样性。每一条轨迹均包含完整的低层级输入事件序列与因果状态快照，提供从目标到操作的精准对齐。当前版本涵盖36条轨迹、928个帧，横跨6个模拟公司，并在macOS、Windows及浏览器三种环境中运行，为GUI智能体研究提供了高度真实、可复现的多公司经济模拟动态。

使用方法

数据集适用于训练与评估能够执行多步计算机任务的智能体。用户可通过加载data.jsonl文件获取结构化轨迹记录，其包含轨迹标识、角色组织信息、自然语言目标及节点树详情。结合screenshots文件夹下的逐节点PNG帧和videos目录中的全屏WebM录像，研究人员能重建完整交互过程。字段“trajectory.alignment”建立了观测与输入事件的映射，便于因果推理与动作解析，特别适合用于强化学习与行为克隆的场景。

背景与挑战

背景概述

SynthUX Computer-Use (economy sim)数据集诞生于多智能体GUI交互与合成数据生成的前沿交叉领域，由SynthUX团队于近期发布。该数据集聚焦于模拟公司内部员工在真实桌面环境中的计算机操作轨迹，涵盖终端、浏览器、办公套件等多应用的跨平台协作场景。其核心研究问题在于如何通过大规模合成轨迹数据，训练能够理解并执行复杂多步GUI任务的自动化代理。数据集以细粒度的屏幕视频、帧序列及底层输入事件为记录形式，为计算机使用任务的因果建模与评估提供了前所未有的结构化资源，对推动GUI代理从简单指令遵循向真实企业级工作流泛化具有里程碑意义。

当前挑战

当前数据集面临的核心挑战源于其模拟的领域复杂性：首先，多应用、多操作系统（macOS/Windows/浏览器）的异构交互环境要求代理必须具备跨平台视觉理解与动作迁移能力，而现有模型在跨环境泛化上仍显脆弱。其次，数据构建过程中，为确保轨迹的真实性与因果一致性，SynthUX采用低层级输入事件作为唯一变异通道，严格避免高层应用状态直接注入，这虽然保证了数据保真度，却大幅提高了生成效率与规模化扩展的难度。此外，每个模拟经济体中角色、目标与公司结构的多样性导致轨迹分布高度长尾，对代理在稀疏场景下的零样本适应能力构成了严峻考验。

常用场景

经典使用场景

在计算机视觉与智能体研究的交叉领域中，SynthUX Economy数据集为多应用、跨平台的图形用户界面（GUI）智能体训练提供了高保真的模拟环境。其最经典的用法是通过记录模拟公司内员工在真实桌面应用（如终端、浏览器、邮件、即时通讯等）间执行复杂任务时的屏幕视频和低层级鼠标键盘事件，构建端到端的视觉-动作序列对。研究者可基于这些轨迹数据，训练能够理解GUI截图语义并生成精准操作指令的智能体模型，尤其适用于需要跨应用协作的长链条任务场景。

解决学术问题

该数据集系统性地解决了多应用GUI智能体研究中长期存在的两大瓶颈：一是缺乏包含真实操作系统级交互（非叠加式工作台）的多样化轨迹数据，导致模型难以泛化至实际桌面环境；二是现有数据集多局限于单应用或单平台，忽视了企业场景中跨组织通讯与多应用协同的复杂性。SynthUX Economy通过模拟拥有多个角色、公司架构和经济活动的虚拟组织，产出大量带有因果状态对齐的轨迹样本，从而支持对智能体在真实多步骤任务中意图分解、错误恢复和跨应用状态迁移等核心学术问题的深入探究。

衍生相关工作

基于SynthUX Economy数据集，学术界已衍生出若干富有影响力的研究方向与工作。其中，利用其多模态轨迹（视频帧+事件流）特性开展的弱监督GUI动作定位研究，为从长视频中自动标注智能体行为边界提供了新范式；另有一些工作聚焦于跨域泛化能力，通过在其多元公司角色与操作系统组合上进行域随机化预训练，提升模型在未见应用版本或布局上的零样本迁移表现。此外，该数据集推动了“因果式GUI智能体”概念的兴起，其对齐的因果状态锚点使得研究者能够设计可解释的动作回溯与故障诊断模块，为构建更安全可靠的企业级自动化系统奠定了数据基础。