jacob-valdez/synthux-economy-r2-w010

SynthUX计算机使用数据集（经济模拟r2）是一个合成数据集，用于计算机使用（GUI代理）任务。它包含由SynthUX生成的基础视觉计算机使用轨迹，每个记录代表一个工作者在模拟公司内的设备会话。在会话中，自然语言目标扩展为节点树，终端节点通过低级别鼠标和键盘输入驱动真实的桌面模拟器应用程序（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频和每个节点的帧。数据集支持应用原生多应用程序执行（无工作台覆盖），具有每个参与者内容的多样性、跨操作系统消息传递和大型多公司经济环境。每个经济模拟都作为独立的数据集仓库发布。数据集内容包括：data.jsonl（每个渲染轨迹一条记录）、screenshots/（每个轨迹和节点的PNG帧，在节点最后一个输入事件处捕获）和videos/（完整屏幕录制的webm文件）。记录模式详细描述了轨迹ID、参与者ID、公司、角色、目标、节点树、输入事件、观察、对齐和媒体引用等字段。本构建包含36个轨迹、903帧和6家公司，按环境分布为browser-os（12个轨迹）、macos-web-next（17个轨迹）和windows-web-next（7个轨迹）。数据集由SynthUX生成，观察是因果的（突变通道为低级别输入），捕获过程中未使用高级别应用程序突变。The SynthUX Computer-Use Dataset (economy sim r2) is a synthetic dataset for computer-use (GUI agents) tasks. It contains grounded visual computer-use trajectories generated by SynthUX, where each record represents one workers device session inside a simulated company. In a session, a natural-language goal expands into a node tree, terminal nodes drive real desktop-simulator applications (e.g., Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides) through low-level mouse and keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. The dataset features app-native multi-application execution (without a workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repository. Contents include: data.jsonl (one record per rendered trajectory), screenshots/ (PNG frames per trajectory and node, taken at the nodes last input event), and videos/ (full screen recordings in webm format). The record schema details fields such as trajectory_id, actor_id, company, goal, tree.nodes, trajectory.input_events, trajectory.observations, trajectory.alignment, and media references. This build includes 36 trajectories, 903 frames, and 6 companies, distributed by environment as browser-os (12 trajectories), macos-web-next (17 trajectories), and windows-web-next (7 trajectories). The dataset is generated with SynthUX, with causal observations (mutation channel = low_level_input) and no high-level app mutation used during capture.

搜集汇总

数据集介绍

构建方式

本数据集源自SynthUX框架，旨在模拟企业环境下的图形用户界面（GUI）代理行为。每个数据记录对应一名虚拟员工在模拟公司中的设备会话，其构建过程为：将一个自然语言目标逐步分解为节点树，终端节点通过低层级的鼠标与键盘操作驱动桌面模拟器应用（如终端、笔记、代码编辑器、浏览器、通讯软件、办公套件等），从而生成完整的可视轨迹。每段轨迹均以屏幕视频及节点帧的形式记录，所有观察结果均基于因果模拟，仅依赖低层级输入，不涉及应用层的高层级变异。

使用方法

数据集以JSONL格式存储，每条记录对应一条渲染轨迹，可通过标准JSON解析工具加载。配套资源包括按轨迹组织的屏幕截图文件夹（PNG格式）与全屏录制的WebM视频文件。研究者可利用轨迹ID、节点对齐信息及时间戳事件序列进行分析与模型训练，例如在GUI代理预测、多步骤任务规划或经济模拟评估等场景中发挥价值。所有数据均遵循Apache-2.0许可证，便于学术与工业应用。

背景与挑战

背景概述

随着图形用户界面（GUI）智能代理技术的不断发展，如何在大规模、多应用的真实计算环境中收集高质量的交互轨迹成为该领域的研究瓶颈。SynthUX Computer-Use Economy模拟数据集应运而生，由SynthUX团队于近期创建，聚焦于模拟企业内部多角色、多应用协同的复杂桌面操作场景。该数据集通过生成式方法，在模拟公司环境中为每位员工分配具体目标，并驱动终端应用（如终端、浏览器、邮件客户端等）完成操作，同时记录完整的屏幕视频与帧级截图。其核心研究问题在于为GUI代理提供具备多应用交互、跨操作系统信息传递及大规模经济模拟真实性的训练与评估数据，对推动计算机自主操作、数字员工自动化等领域的研究具有重要价值。

当前挑战

该数据集所解决的领域问题主要在于：传统GUI代理数据集多局限于单一应用或简单操作，缺乏对真实企业环境中多应用、多角色、跨平台协同复杂性的覆盖，而SynthUX通过模拟完整经济体系内的多公司、多角色交互，填补了这一空白。在构建过程中，数据集面临的核心挑战包括：如何保证每个模拟会话中生成的内容具有多样性和真实性，避免重复模式；如何在不引入高级应用接口突变的前提下，通过低层鼠标键盘事件实现因果一致的观测记录，从而维持仿真环境的生态效度；以及如何高效、稳定地整合跨不同操作系统（macOS、Windows、浏览器操作系统）的交互数据，确保数据格式的统一与可复现性。

常用场景

经典使用场景

在图形用户界面（GUI）智能体研究领域，SynthUX Economy R2 W010 数据集扮演着举足轻重的角色。它专为模拟多应用程序协同操作的复杂场景而设计，为评估与训练具备视觉理解与自主操作能力的智能体提供了标准化的测试平台。该数据集的核心使用场景在于，通过记录工人在一家模拟公司内完成自然语言指定目标的完整轨迹，涵盖了终端、笔记、代码编辑器、浏览器、即时通讯与邮件等多款桌面应用的交互过程。这种设计使得研究者能够深入探究智能体在真实动态的软件环境中的决策与执行能力，特别适用于对跨应用、多步骤任务的理解与复现研究。

解决学术问题

该数据集精准地回应了当前智能体研究中一个关键难题：如何在缺乏标准化的多应用交互数据的情况下，训练出能够理解和执行复杂业务流程序的AI模型。传统数据集往往局限于单一应用或封闭环境，难以展现现实办公中软件间协同工作的全貌。SynthUX 通过构建包含多公司、多角色、多操作系统的模拟经济体系，从根源上解决了跨应用任务的数据稀缺性问题。它不仅为泛化能力与迁移学习的研究提供了丰富的素材，还因其因果性的观测记录，推动了智能体规划与执行一致性、错误恢复机制等前沿学术议题的进展，对构建更加鲁棒和实用的办公自动化模型具有深远意义。

实际应用

从实际应用视角来看，SynthUX 数据集为众多领域注入了新的活力。在流程自动化领域，它能够作为训练企业级RPA（机器人流程自动化）系统的基石，使机器人学会在Salesforce、Slack和Excel之间无缝传递信息并执行操作。在软件测试方面，数据集中记录的细粒度鼠标键盘事件与屏幕截图，可用于生成自动化回归测试用例，验证跨应用工作流的稳定性。此外，该数据集还能赋能智能辅助技术，例如开发能够实时监控用户操作并提供上下文帮助的数字助理，或构建专为特定角色（如财务分析师）设计的复合工具链，从而显著提升知识工作者的工作效率。

数据集最近研究

最新研究方向

当前，SynthUX Economy R2 W010数据集聚焦于模拟多企业经济体系下的原生多应用GUI交互轨迹生成，其前沿研究方向在于通过合成数据驱动计算机使用智能体的自主决策与跨应用协同能力。该数据集依托SynthUX框架，在模拟公司场景中生成密集的低层级鼠标、键盘与脚本事件序列，并配套完整的屏幕录制与逐节点快照，为构建能够理解并执行复杂、长序列、跨平台桌面任务的视觉语言模型提供了高保真度的训练与评估基准。这一研究方向不仅推动了GUI代理在真实工作流中实现从目标分解到原子操作的端到端执行，更通过多公司、多角色、多操作系统的异构环境设计，强化了模型对动态业务逻辑与跨应用通信的泛化能力，对于实现人机协作自动化与下一代智能办公系统具有重要的奠基意义。