jacob-valdez/synthux-economy-r1-w014

SynthUX计算机使用数据集——经济模拟r1是一个基于SynthUX生成的、以视觉为中心的计算机使用轨迹数据集，模拟公司环境中的工作者设备会话。每个记录代表一个工作者在模拟公司内的设备会话：一个目标扩展成一个节点树，终端节点通过低级别鼠标/键盘输入驱动真实的桌面模拟器应用程序（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频和每个节点的帧。该数据集支持应用程序原生多应用执行（无工作台覆盖）、每个参与者的内容多样性、跨操作系统消息传递以及大规模多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。数据集包含data.jsonl（每个渲染轨迹的记录）、screenshots/（每个终端节点的帧）和videos/（完整的屏幕录制）三部分。记录模式包括轨迹ID、参与者ID、公司、角色ID、标题、环境（模拟器类型）、目标、树节点、轨迹输入事件、观察结果、对齐信息以及媒体文件（视频和帧）。本构建包含36个轨迹、36个视频、818个帧、6个公司，环境分布为browser-os（8）、macos-web-next（11）和windows-web-next（17）。数据由SynthUX生成，观察结果是因果性的（突变通道为低级别输入），在捕获过程中未使用高级别应用程序突变。The SynthUX Computer-Use Dataset — economy sim r1 is a grounded visual computer-use trajectories dataset generated by SynthUX, simulating worker device sessions within a company environment. Each record represents one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator applications (such as Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. It features app-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repository. The dataset includes data.jsonl (one record per rendered trajectory), screenshots/ (a frame per terminal node), and videos/ (the full screen recording). The record schema includes fields like trajectory_id, actor_id, company, role_id, title, env (simulator type), goal, tree.nodes, trajectory.input_events, trajectory.observations, trajectory.alignment, and media files (video and frames). This build contains 36 trajectories, 36 videos, 818 frames, 6 companies, with environment distribution: browser-os (8), macos-web-next (11), and windows-web-next (17). It is generated with SynthUX, with observations being causal (mutation channel = low_level_input) and no high-level app mutation used during capture.

搜集汇总

数据集介绍

构建方式

本数据集基于SynthUX框架生成，旨在模拟多公司经济体系中的人工智能图形用户界面代理行为。每条记录对应一名模拟员工在虚拟企业环境中的设备会话，其流程始于一个自然语言目标，该目标被展开为节点树，终端节点通过低层级的鼠标与键盘输入驱动真实桌面模拟器应用（如终端、笔记、代码编辑器、浏览器、即时通讯工具、邮件、电子表格与演示文稿等），从而生成可观测的触屏操作轨迹。整个执行过程采用应用原生多应用模式，无需工作台覆盖层，并通过跨操作系统消息传递确保内容多样性。运行轨迹以屏幕视频和每节点帧的形式被完整记录，每个经济模拟作为独立数据集仓库发布。

特点

该数据集的核心特点在于其高度真实且结构化的计算机使用轨迹。每条轨迹涵盖丰富的元数据，包括角色身份、所属公司、模拟环境类型（macOS/Windows/浏览器操作系统）及自然语言目标。数据记录采用分层架构：节点树中的终端节点保存了表面元素、操作类型、目标和参数；轨迹层则包含密集的低层级输入事件流（含时间戳）、因果模拟器状态及观察与节点的对齐信息。本版本包含36条轨迹、818帧图像、6个虚拟公司，并覆盖三种模拟环境，确保了跨平台与跨组织的多样性与可迁移性。

使用方法

数据集以JSON Lines格式存储于`data.jsonl`文件中，每条记录对应一次渲染轨迹，可通过标准解析库逐行读取。每帧图像以PNG格式存放于`screenshots/<轨迹ID>/`目录，名称与节点ID对应；全屏幕录像以WebM格式保存于`videos/<轨迹ID>.webm`。研究人员可基于`tree.nodes`提取终端节点信息，利用`trajectory.input_events`分析低层级事件序列，或通过`trajectory.alignment`建立观察与节点的因果关联。适用于训练与评估GUI代理在虚拟经济场景下的任务规划与执行能力，尤其在多应用、跨平台环境中的性能研究。

背景与挑战

背景概述

随着图形用户界面（GUI）代理技术的快速发展，如何让智能体在真实桌面环境中执行多应用协同操作成为核心研究课题。SynthUX Computer-Use 数据集（economy sim r1）于2025年发布，由研究团队利用SynthUX框架生成，旨在模拟企业内部员工在多种应用程序（如终端、编辑器、浏览器、即时通讯工具等）间完成复杂目标的视觉计算机操作轨迹。该数据集通过构建跨操作系统、多公司交互的经济模拟环境，为GUI代理提供了高保真、多模态的评测基准，推动了人机交互与自动化领域的发展，尤其在理解长序列、低层级操作行为方面具有重要影响力。

当前挑战

该数据集主要面临三大挑战：其一，在领域问题层面，现有代理模型难以处理跨应用、跨操作系统的连续任务，因为真实桌面环境中的操作具有高度动态性和不可预测性，而数据集中的轨迹需捕捉低层级鼠标/键盘事件与高层语义目标之间的映射关系；其二，在构建过程中，如何确保多公司经济模拟的生态真实性并避免数据泄露是一大难题，需要为每个参与者生成不同的内容并隔离同步通信信息；其三，数据采集时需同时记录屏幕视频、逐帧截图及因果状态，这对同步精度与存储效率提出了极高要求，且需保证所有观察结果均由底层输入驱动，而非高层次的模拟突变，从而保持轨迹的因果有效性。

常用场景

经典使用场景

该数据集常用于训练和评估图形用户界面（GUI）智能体，特别是在多应用协作的计算机使用场景中。每个轨迹记录了一个模拟公司内员工在真实桌面模拟器上完成自然语言任务的全过程，涵盖终端、笔记、代码编辑器、浏览器、即时通讯、邮件、办公套件等多种应用程序的跨应用操作。研究者可以利用这些带时间戳的键盘鼠标事件、屏幕录像及每节点截图，构建能够理解屏幕上下文、规划行动序列并执行操作的自主代理。数据集提供的多公司、多角色、多操作系统的丰富情境，使其成为评估GUI智能体在复杂企业环境中泛化能力的理想基准。

实际应用

在实际应用中，该数据集直接赋能企业级自动化助手和智能工作流系统的开发。例如，基于这些轨迹训练的GUI代理可以自动执行财务审批、跨平台数据录入、多客户沟通协调等重复性任务，显著提升运营效率。数据集涵盖的跨操作系统环境（macOS、Windows、浏览器）使其具有高度普适性，适用于构建兼容多种桌面环境的通用办公机器人。此外，保险公司或审计机构可利用此类智能体自动化合规检查流程，从邮件、电子表格和聊天记录中提取信息并比对规则，降低人工审查成本同时提高准确性。这些实际场景均受益于数据集提供的多应用、多角色协同执行的真实轨迹。

衍生相关工作

该数据集衍生了一系列关于多模态GUI智能体训练方法的经典工作。研究者基于其细粒度事件序列和视频帧，提出了层级式规划与强化学习结合的训练范式，将高层目标分解为可执行的原子操作。也有工作利用数据集的跨公司员工角色信息，探索了模仿学习中的多智能体行为多样化策略，以及因果模型如何帮助智能体从错误中恢复。此外，数据集独特的仿真经济环境催生了关于智能体长期任务记忆与工作流优化的工作，推动了Retrieval-Augmented Generation（RAG）与GUI操作结合的研究方向。这些衍生工作共同拓展了计算机使用智能体在复杂企业软件生态系统中的理论边界和应用潜力。