jacob-valdez/synthux-economy-r5-w025

SynthUX计算机使用数据集（经济模拟r5）是由SynthUX生成的基于视觉的计算机使用轨迹数据。每个记录代表一个工人在模拟公司内的设备会话：目标扩展为节点树，终端节点通过低级鼠标/键盘输入驱动真实桌面模拟器应用（包括终端、笔记、VS Code、浏览器、Slack/Teams、邮件、Sheets、Slides等），观察到的轨迹被记录为屏幕视频以及每个节点的帧。该数据集支持应用原生多应用执行（无工作台覆盖），具有每个参与者内容的多样性、跨操作系统消息传递和大型多公司经济模拟。每个经济模拟作为独立的数据仓库发布。Grounded visual computer-use trajectories generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. App-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo.

搜集汇总

数据集介绍

构建方式

该数据集基于SynthUX框架构建，模拟了一个多公司经济体系中的员工桌面操作场景。每条记录对应一名工人在模拟公司内的设备会话过程：自然语言目标被扩展为节点树，终端节点通过低层级鼠标和键盘输入驱动真实的桌面模拟应用（如终端、笔记、代码编辑器、浏览器、即时通讯、邮件、电子表格、幻灯片等），并记录完整的操作轨迹。每个节点对应一个屏幕帧，所有输入事件、观察状态及对齐信息均被结构化保存，最终以屏幕视频和逐节点截图的形式产出。经济模拟按批次发布，本批次为第5版。

使用方法

数据集以JSON Lines格式存储于`data.jsonl`文件中，每条记录包含轨迹ID、角色信息、环境类型、目标文本及完整的节点与事件数据。配套的`videos/`目录提供全屏录制视频，`screenshots/`目录按轨迹组织每节点的PNG截图。研究者可通过解析节点序列与输入事件来训练或评估GUI代理的规划与执行能力。建议将视频与帧数据结合节点对齐信息使用，以重建完整的操作过程。本数据集适用于计算机使用代理、多应用工作流规划及GUI交互建模等研究方向。

背景与挑战

背景概述

SynthUX Computer-Use (economy sim) 数据集诞生于2025年，由研究团队基于SynthUX框架构建，旨在解决图形用户界面（GUI）智能体在真实多应用场景中的交互能力评估问题。该数据集的核心研究问题是如何在模拟的企业经济环境中，通过合成数据驱动的方式，生成细粒度、低层级的鼠标键盘操作轨迹，以支撑计算机使用任务的研究与训练。数据集采集了6家模拟公司中36位虚拟员工的设备会话记录，涵盖macOS、Windows及浏览器三种桌面环境，提供了包括屏幕视频、逐节点截图及多层级事件对齐在内的丰富多模态数据。这一设计使得研究者能够深入分析GUI智能体在跨应用协作、多步任务规划以及环境动态变化中的表现，对于推动自动化办公、软件测试和智能助手等领域具有重要影响力。

当前挑战

当前SynthUX Computer-Use数据集面临多方面的挑战。从领域问题看，所解决的GUI智能体交互任务本身具有高度复杂性：真实桌面环境包含数十个应用窗口的并发操作、跨操作系统消息传递以及长时序因果依赖，现有模型难以捕捉这些动态交互中的语义连贯性。从构建过程看，合成数据的真实性验证是一大难题——如何在模拟经济中确保不同角色的行为多样性、避免轨迹模式趋同，同时保持低层级输入事件与高层级任务目标的一致对齐，需要精密的模拟引擎设计。此外，数据集的规模有限（仅36条轨迹），在跨场景泛化、噪声鲁棒性及现实环境迁移等方面仍存在显著瓶颈，亟需扩大数据覆盖范围并引入更复杂的交互范式。

常用场景

经典使用场景

SynthUX-economy-r5-w025数据集专为多应用协同的图形用户界面（GUI）智能体研究而设计，其经典使用场景聚焦于构建和评估能够在模拟企业环境中自主执行跨应用任务的智能体。该数据集记录了多个虚拟员工在模拟公司内的完整设备操作轨迹，涵盖终端、笔记、代码编辑器、浏览器、即时通讯、邮件及办公套件等真实桌面应用。研究者可利用这些包含逐帧屏幕截图与全屏视频的轨迹数据，训练能够理解自然语言目标并转化为底层鼠标键盘操作的计算机使用智能体，尤其适用于复杂多步骤工作流与多应用切换场景下的模型性能基准测试。

解决学术问题

该数据集精准回应了当前智能体研究领域面临的核心挑战——如何构建能够在真实多应用环境中泛化的、具备鲁棒性的GUI操作模型。现有研究多局限于单一应用或预定义操作集，而SynthUX通过引入多公司经济模拟、跨操作系统消息传递及每角色内容多样性，突破了传统基准的局限。它使学界能够系统性地研究智能体在跨应用上下文理解、长程任务规划、多目标协调以及面对未见过界面布局时的适应能力，为评估智能体在模拟组织架构中的协作与决策水平提供了可复现的标准化平台。

实际应用

在实际应用中，该数据集催生出的智能体技术可直接赋能企业级办公自动化与数字劳动力平台。例如，通过学习数据集中记录的跨应用操作模式，开发的智能体能够自动处理客户邮件回复、财务报表更新、代码仓库同步等多应用串联的重复性工作流。此外，该数据集也为软件测试领域的GUI自动化测试框架提供了丰富的训练素材，使得测试脚本能够更智能地适应不同操作系统环境（如macOS与Windows）下的应用变体，显著降低企业运维与测试的人力开销。

数据集最近研究

最新研究方向

该数据集聚焦于多应用协同的桌面级图形用户界面（GUI）智能代理研究，通过模拟多公司经济环境中的真实设备操作轨迹，为计算机使用任务的自主推理与执行提供了细粒度的视觉-行为对齐数据。前沿方向涵盖基于屏幕理解的端到端任务规划、跨应用程序工作流编排（如终端、浏览器、办公套件及即时通讯工具的协同操作），以及屏幕视频与底层输入事件的时间因果建模。数据集本身的高保真多模态捕获（含视频、截图与低层级鼠标/键盘事件）为构建能适应复杂企业级动态场景的通用GUI代理提供了关键基准，推动了从单一应用自动化向多角色、多组织协同的生态级智能体演进。