jacob-valdez/synthux-economy-r5-w033

SynthUX计算机使用数据集 — 经济模拟r5是基于SynthUX生成的视觉计算机使用轨迹数据集。每个记录代表一个工人在模拟公司中的设备会话：一个目标扩展为节点树，终端节点通过低级鼠标/键盘输入驱动真实桌面模拟器应用程序（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察轨迹被记录为屏幕视频以及每个节点的帧。该数据集支持应用程序原生多应用程序执行（无工作台覆盖），每个参与者内容多样性，跨操作系统消息传递，以及大规模多公司经济模拟。每次经济模拟作为独立的数据集仓库发布。SynthUX Computer-Use Dataset — economy sim r5 is a dataset of grounded visual computer-use trajectories generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. It features app-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo.

搜集汇总

数据集介绍

构建方式

该数据集基于SynthUX框架构建，模拟了多公司经济环境下的计算机使用轨迹。每个记录对应一名员工在模拟公司中的设备会话，具体流程为：从自然语言目标出发，扩展为节点树结构，终端节点通过低层级鼠标与键盘输入驱动真实的桌面模拟器应用（如终端、笔记、代码编辑器、浏览器、消息软件、电子表格等）。整个操作过程被录制为屏幕视频及逐节点帧图像，确保轨迹的密集且因果可追溯。每条轨迹均包含完整的输入事件、状态观测及节点对齐信息，且不采用高层级应用变异，仅通过低层级输入通道实现因果观测。

特点

该数据集具有鲜明的多应用原生执行特性，摒弃了工作台叠加层，直接在操作系统层面进行操作，保证了模拟的逼真性。内容多样性体现在每个参与者的独立生成，且支持跨操作系统消息传递（macOS、Windows、浏览器）。经济模拟规模宏大，涵盖6家公司、36条轨迹及834帧图像，为多公司交互场景提供了丰富样本。环境分布均匀，包括浏览器操作系统、macOS及Windows三大平台，有助于研究跨平台图形用户界面代理的泛化能力。

使用方法

数据集以标准格式存储于HuggingFace仓库，主文件为data.jsonl，包含每条轨迹的元数据、节点树、输入事件与观测信息。附带screenshots目录存储逐节点PNG帧，videos目录提供完整屏幕录制（WebM格式）。用户可加载JSONL文件遍历记录，提取轨迹标识符、目标、角色与公司信息；通过media字段索引视频与帧图像，结合alignment字段进行输入事件与节点ID的因果链接。适用于训练或评估基于视觉的图形用户界面代理，支持多应用协同任务的研究与开发，可直接用于监督学习或强化学习管道。

背景与挑战

背景概述

在图形用户界面（GUI）智能体研究领域，构建能够自主执行跨应用、跨平台任务的系统是当前人机交互与人工智能交叉学科的核心挑战。SynthUX-economy-r5-w033数据集于2025年由SynthUX团队发布，旨在为多应用、多代理协作场景下的视觉计算机使用行为提供高质量的模拟轨迹数据。该数据集聚焦于模拟企业环境中不同角色的桌面操作流程，涵盖终端、编辑器、浏览器、即时通讯、办公套件等多种原生应用，并通过低层级鼠标键盘事件记录完整的屏幕操作过程。数据集包含来自6家虚拟公司的36条操作轨迹、834帧关键帧及对应视频，覆盖macOS、Windows及浏览器三种操作系统环境，为研究跨平台GUI智能体的规划、执行与对齐能力提供了重要的基准资源。其发布推动了从单一任务模拟向多公司经济生态模拟的范式转变，显著提升了智能体在复杂企业场景下的泛化与交互能力研究水平。

当前挑战

该领域面临的核心挑战首先在于构建能够忠实反映真实企业协作复杂性的模拟环境——单一任务或单一应用的GUI操作数据集难以覆盖跨应用、跨组织的信息流与并发任务，而SynthUX通过多公司经济模拟试图弥合这一差距，但如何使虚拟代理的行为模式与真实人类的多任务执行策略对齐仍是难题。其次，数据构建过程中需在保持因果关系纯粹性的前提下，通过低层级输入事件（如鼠标移动、键盘敲击）而非高层级API调用来驱动机器状态变更，这要求模拟器必须精确捕捉每个操作节点的因果影响，避免观测偏差。此外，每段轨迹均需同步记录屏幕视频、逐帧截图及事件时间戳，在多操作系统环境下保证数据采集的实时性与一致性对工程实现提出了严峻挑战，尤其是在跨窗口消息传递与多应用协作场景中，如何无侵入地追踪完整操作链而不干扰模拟环境本身仍是技术难点。

常用场景

经典使用场景

SynthUX Economy R5 W033数据集专为计算机使用（computer-use）场景下的图形用户界面（GUI）代理研究而设计，其核心价值在于模拟多应用、多公司交互的复杂桌面环境。通过记录模拟员工在终端、浏览器、即时通讯、办公套件等真实应用间的低层级鼠标与键盘操作轨迹，该数据集为训练和评估能够自主完成跨应用任务（如数据查询、邮件撰写、报告生成）的GUI代理提供了基准。其细粒度的时间戳事件、屏幕录像及逐帧截图，使研究者得以深入探讨代理在动态多任务环境中的决策过程。

实际应用

在实际应用中，SynthUX Economy R5 W033数据集的轨迹可直接用于训练企业级自动化助手，例如模拟员工自动处理跨应用的工作流：从邮件中提取客户需求、在浏览器中搜索产品信息、使用表格工具更新库存、最终通过通讯应用发送报告。此类技术可降低重复性办公任务的执行成本，提升多系统数据流转效率。科技公司可借助该数据集微调GUI代理模型，使其适应特定行业软件生态（如金融、供应链管理），从而在人力资源分配、合规审计等环节实现半自主化操作。

衍生相关工作

该数据集衍生了一系列具有影响力的研究工作，包括：基于轨迹数据的低层级行为聚类方法（用于发现跨角色通用操作模式）、分层强化学习框架（将树状节点结构转化为子任务层次）、以及跨平台（macOS、Windows、浏览器）迁移学习策略。其多公司经济环境还被改造为社交模拟基准，用于测试代理在博弈场景中的协作与谈判能力。后续工作进一步利用其视频流数据，开发了视觉-语言联合模型，通过帧级标注实现从屏幕截图到操作指令的端到端生成，为无结构化环境下的智能体训练提供了重要范式。