jacob-valdez/synthux-economy-r4-w028

SynthUX计算机使用数据集是一个专注于经济模拟的合成数据集，包含由SynthUX生成的基于视觉的计算机使用轨迹。每个记录代表一个工人在模拟公司内的设备会话：目标被扩展为节点树，终端节点通过低级别鼠标/键盘输入驱动真实的桌面模拟器应用程序（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频和每个节点的帧。数据集支持应用程序原生多应用程序执行（无工作台覆盖），每个参与者内容具有多样性，并涉及跨操作系统消息传递和大型多公司经济模拟。每个经济模拟作为独立的数据集存储库发布。数据集内容包括JSONL格式的记录文件、每个轨迹的截图帧和完整屏幕录制视频。记录模式包括轨迹ID、参与者信息、环境、目标、节点树、输入事件、观察结果、对齐信息以及媒体引用。该版本包含36个轨迹、842帧和6家公司，覆盖浏览器操作系统、macOS和Windows环境。数据生成使用SynthUX工具，观察结果基于因果模拟，仅使用低级别输入进行捕获。The SynthUX Computer-Use Dataset is a synthetic dataset focused on economy simulation, containing grounded visual computer-use trajectories generated by SynthUX. Each record represents one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator applications (such as Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, etc.) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. The dataset features app-native multi-application execution without a workbench overlay, per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repository. Contents include a JSONL file for records, per-node screenshot frames, and full screen recordings. The record schema covers trajectory ID, actor details, environment, goal, node tree, input events, observations, alignment, and media references. This build includes 36 trajectories, 842 frames, and 6 companies, with environments like browser-os, macos-web-next, and windows-web-next. Generated using SynthUX, observations are causal and rely solely on low-level input during capture.

搜集汇总

数据集介绍

构建方式

该数据集基于SynthUX框架生成，模拟了多公司经济环境下的桌面计算机使用轨迹。每个记录代表一位员工在模拟公司内的设备会话过程：首先将自然语言目标展开为节点树，终端节点通过底层鼠标/键盘输入驱动真实桌面模拟器应用（包括终端、笔记、代码编辑器、浏览器、即时通讯、邮件、表格、演示文稿等），从而记录完整的操作轨迹。数据采集采用因果观测机制，仅通过低层级输入通道进行状态变更，避免了高层级应用操作对模拟环境的干扰。每个经济模拟场景独立发布为数据集仓库，本版本包含36条轨迹、842帧画面及6家公司的模拟数据。

使用方法

数据集以JSONL格式存储主体记录，每条包含目标文本、节点树、输入事件序列、观测状态及对齐信息等字段。对应的屏幕截图存放于screenshots目录下，按轨迹ID和节点ID组织；完整屏幕录像以WebM格式保存于videos目录。研究者可通过遍历data.jsonl文件获取轨迹元数据，结合节点截图与视频数据进行多模态建模。建议优先利用低层级事件序列（trajectory.input_events）和因果状态信息（trajectory.observations）训练GUI智能体的动作预测模型，并借助对齐字段（trajectory.alignment）建立事件与节点间的精准映射关系。

背景与挑战

背景概述

随着图形用户界面（GUI）智能体的迅速发展，如何构建能够模拟真实人类在复杂多应用环境下进行计算机操作的高质量训练数据集，成为了该领域亟待突破的关键瓶颈。SynthUX Computer-Use数据集（economy sim r4）由相关研究团队于近期创建，旨在通过合成方式生成接地气的视觉计算机使用轨迹。该数据集以一家模拟公司中的员工设备会话为基本单位，每个目标被展开为节点树，终端节点驱动包括终端、笔记、代码编辑器、浏览器、即时通讯、邮件、电子表格等在内的多种桌面模拟应用，并记录底层的鼠标与键盘输入事件。通过跨操作系统消息、多公司经济体的模拟，数据集支持对跨应用多任务执行与多角色内容多样性的深入研究。该数据集以其大规模、多应用原生执行的特点，为GUI智能体的训练与评估提供了全新的基准资源，对推动计算机使用自动化领域的研究具有重要影响力。

当前挑战

SynthUX数据集所应对的核心挑战之一在于解决传统GUI智能体研究中缺乏真实、多应用、跨平台交互轨迹的问题。现有基准往往局限于单一应用或简化操作环境，难以复现人类在日常计算机使用中频繁切换应用、执行复杂业务流程的实际情况。在构建该数据集的过程中，研究者面临多重挑战：如何设计可扩展的合成架构，使每个目标能够自动展开为覆盖多种桌面模拟应用的节点树，并确保终端节点驱动的底层输入事件的因果一致性；如何保持不同角色与公司之间内容的多样性，避免数据同质化；以及如何在不引入高级应用变异干扰的前提下，通过低层输入事件作为突变通道，忠实记录屏幕视频与每一节点的帧图像，从而确保数据集的因果性与可复现性。这些技术难题的克服，使得SynthUX数据集能够在受控条件下生成高度逼真的多应用计算机使用轨迹。

常用场景

经典使用场景

在人工智能与计算机交互的前沿领域，GUI智能体（GUI Agent）的自主操作能力一直是研究的热点与难点。SynthUX Economy模拟数据集（synthux-economy-r4-w028）正是为攻克这一挑战而精心构造的基准资源。其最经典的使用场景在于为多应用协同的视觉GUI智能体提供端到端的训练与评估框架。具体而言，研究者可利用该数据集中包含的终端到终端的屏幕录像（video）与操作节点帧（frame），训练智能体基于视觉输入（即屏幕像素）理解复杂的多窗口、多应用界面，并生成精确的鼠标与键盘底层操作指令（low-level input events）。数据集模拟了真实企业环境中角色（如不同公司的职员）在多种操作系统（macOS、Windows、Browser-OS）上，通过Terminal、VS Code、Slack、Mail、Sheets等应用完成复杂任务的全过程，为开发能够跨应用、跨平台执行指令的通用GUI智能体提供了无可替代的天然学习素材。

解决学术问题

该数据集精准地回应了当前GUI智能体研究领域面临的几个核心学术挑战。首要问题是如何弥合高层语义目标与底层操作系统操作之间的鸿沟。数据集通过记录从自然语言目标（goal）到节点树分解、再到实际鼠标键盘事件的完整因果链条（causal trajectory），为研究任务规划（task planning）与低层控制（low-level control）的联合学习提供了结构化的监督信号。其次，它解决了跨应用上下文理解与长序列依赖问题，因为每个轨迹都横跨多个应用窗口，要求模型维持对多步操作状态的记忆感知。此外，数据集中包含的多公司、多角色、跨操作系统环境，使得研究者能够探索智能体的泛化能力与领域适应性，推动从单一特定任务到通用企业级数字白领助手的范式跃迁。这批数据的发布，实质上为构建可验证、可复现的视觉GUI智能体评估体系奠定了坚实地基。

实际应用

SynthUX Economy数据集所驱动的GUI智能体技术在现实世界中拥有广阔的应用前景，尤其在企业自动化与数字生产力领域。最直接的实际应用是开发能够替代人类执行重复性办公任务的“数字劳动力”，例如：自动处理跨系统的数据录入与汇总（如从邮件读取订单、在Sheet中更新库存、在Slack中发送确认通知）；自动化软件测试，即智能体可像真实用户一样模拟复杂工作流以检测用户界面（UI）的稳定性与流程正确性；以及构建智能个人助理，能够通过单一指令完成诸如“整理上周财务数据并制作幻灯片”等多步工作流。由于数据集本身模拟了跨操作系统和消息传递的真实业务场景，由此训练出的智能体天然具备处理异构系统和数字生态内复杂交互的能力，这在金融、医疗、物流等行业的流程自动化部署中具有极高的实用价值。

数据集最近研究

最新研究方向

在GUI智能体与多应用协同操控的前沿探索中，SynthUX经济模拟数据集（synthux-economy-r4-w028）以其原生多应用执行环境与跨OS消息机制，为计算机使用任务注入了全新的生态化视角。该数据集通过构建包含6家虚拟公司、36条完整轨迹的桌面模拟经济体系，突破了传统单应用、单平台测试的局限，使智能体能够在Terminal、浏览器、邮件与办公套件等真实桌面工具间动态切换。近期研究聚焦于如何利用此类高保真、因果对齐的轨迹数据训练具备跨应用规划能力的GUI智能体，并探索其在模拟企业运营、自动化报表生成与跨平台协作等复杂场景中的泛化表现。这一方向不仅推动了计算机使用任务从静态指令执行迈向动态环境适应，也为评估智能体在真实职场中的自主决策能力提供了关键基准。