jacob-valdez/synthux-economy-r5-w052

SynthUX计算机使用数据集——经济模拟r5：由SynthUX生成的基于视觉的计算机使用轨迹。每条记录代表一个工作者在模拟公司内的设备会话：一个目标扩展为一个节点树，终端节点通过低级别鼠标/键盘输入驱动真实的桌面模拟器应用程序（终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频加上每节点帧。具有应用原生多应用程序执行（无工作台覆盖）、每参与者内容多样性、跨操作系统消息传递和大型多公司经济等特性。每个经济模拟作为独立的数据集仓库发布。SynthUX Computer Usage Dataset – Economic Simulation r5: Vision-based computer usage trajectories generated by SynthUX. Each record represents a device session of a worker within a simulated company: a target is expanded into a node tree, where terminal nodes drive real desktop emulator applications (including terminals, Notes, VS Code, browsers, Slack/Teams, email, spreadsheets, slides, etc.) via low-level mouse and keyboard inputs. The observed trajectories are recorded as screen videos paired with per-node frames. It features native cross-application execution (no workspace overlay), per-participant content diversity, cross-operating system messaging, and large-scale multi-company economic characteristics. Each economic simulation is released as an independent dataset repository.

搜集汇总

数据集介绍

构建方式

SynthUX-Economy-R5-W052数据集基于模拟企业环境中的多代理工作流生成，每个数据记录对应一名员工在虚拟公司内部的设备操作会话。数据集构建过程从自然语言目标出发，将其分解为节点树，终端节点通过低层级鼠标与键盘操作驱动真实桌面模拟器应用（如终端、笔记、代码编辑器、浏览器、即时通讯、邮件、电子表格等），并记录完整的屏幕视频与逐节点帧图像。所有轨迹均通过因果观测方式采集，确保仅依赖低层级输入通道，避免高层级应用变异干扰。

特点

该数据集的核心特色在于其多应用原生执行环境与跨操作系统消息通信能力。不同于常见的工作台叠加方案，数据集中每个轨迹均真实运行于macOS或Windows桌面模拟器或纯浏览器环境，保证了视觉与交互的真实性。此外，数据集内含6家虚拟公司、36条完整轨迹及1120帧图像，覆盖了多公司经济系统中的角色分工与内部协作场景，为计算机使用代理研究提供了高保真、多场景的实证基础。

使用方法

数据集以JSONL格式存储轨迹元数据，每条记录包含轨迹ID、代理身份、公司信息、自然语言目标、节点树及其底层输入事件序列。屏幕视频以WebM格式提供，逐节点帧图像以PNG格式存放于对应文件夹中，并按节点ID索引。研究者可根据目标文本检索相关轨迹，利用输入事件与观测状态进行行为克隆或强化学习训练，也可结合视频与帧图像作为多模态输入，开发与评估图形界面代理的规划与执行能力。

背景与挑战

背景概述

SynthUX Computer-Use (economy sim) 数据集由 SynthUX 团队于2024年创建，专注于生成基于视觉的计算机操作轨迹，模拟企业内部多应用协同工作场景。该数据集通过虚拟仿真环境生成细粒度的鼠标、键盘操作序列，覆盖终端、笔记、代码编辑器、浏览器、即时通讯、办公套件等多种原生应用，并记录完整的屏幕视频与逐帧图像。其核心研究问题在于构建可泛化的图形用户界面代理（GUI Agent），使其能够理解复杂界面、执行跨应用任务并适应多公司经济模拟环境。该数据集为多应用、多平台、多角色的端到端人机交互研究提供了高质量的合成数据，推动了大语言模型在现实桌面环境中的自主操作能力发展。

当前挑战

该数据集面临的主要挑战包括：1) 领域问题层面，GUI代理需要从高维视觉输入中理解界面语义，并在多应用、多操作系统（macOS、Windows、浏览器）间实现零样本迁移，同时应对动态界面变化与长程任务依赖；2) 构建过程中，合成数据需保持真实的人机交互统计特性，避免单一模型生成导致的模式过拟合，还需通过多公司、多角色、多应用环境设计保障轨迹多样性，并确保所有操作均通过底层输入通道生成而非高层API注入，以模拟真实用户行为的因果性。

常用场景

经典使用场景

SynthUX Economy r5 数据集专为多应用图形用户界面（GUI）智能体研究而设计，经典使用场景聚焦于模拟企业环境中多角色、跨应用的计算机操作轨迹生成。在经济学模拟背景下，智能体需在虚拟公司内完成诸如邮件收发、会议安排、代码编写、浏览器调研、即时通讯及电子表格处理等一系列协作任务，每个任务的执行均以低层级鼠标与键盘事件形式记录，形成连续的屏幕视频与逐帧快照。该数据集为开发和评估能够理解复杂多步骤目标、自主规划并执行多应用交互的GUI智能体提供了标准化测试平台，尤其适用于研究智能体在跨应用上下文切换、任务分解与执行监控等方面的能力。

衍生相关工作

围绕SynthUX数据集已衍生出多项具有影响力的研究工作。在方法论层面，研究者提出了基于节点树的分层规划框架，将高层语义目标逐步分解为终端可执行的表象、动作与参数三元组，显著提升了智能体在长序列任务中的成功率。在环境方面，衍生工作构建了多公司跨操作系统（macOS、Windows、浏览器OS）的经济模拟沙盒，使得智能体需适应不同的界面布局和交互范式，从而增强其领域迁移与鲁棒泛化能力。此外，轨迹中的因果对齐技术（将低层输入事件链映射至高层节点ID）被后继工作采纳为评估工具，用以量化智能体决策的可解释性与回溯能力。这些工作共同推动了GUI智能体从单一指令执行向复杂、真实企业场景的演进。

数据集最近研究

最新研究方向

在图形用户界面（GUI）智能代理领域，SynthUX经济模拟数据集开辟了多应用协同与跨组织交互的前沿方向。该数据集聚焦于大规模合成经济生态中的计算机使用轨迹，涵盖6家模拟公司、36条完整会话记录，涉及终端、浏览器、办公套件等多应用原生执行环境，突破了传统单任务数据集的局限。当前研究热点包括：基于视觉轨迹的跨应用工作流推理、多代理经济系统中的任务分解与对齐机制，以及异构操作系统（macOS/Windows/浏览器）下的通用界面代理通用化。此数据集为探索企业级数字劳动力自动化和复杂人机协作场景提供了高保真、可因果推断的基础设施，其多公司、多角色的仿真架构直接呼应了金融科技与远程办公领域中'数字员工'群体智能的演进需求。