jacob-valdez/synthux-economy-r2-w006

SynthUX计算机使用数据集—经济模拟r2，由SynthUX生成的基于视觉的计算机使用轨迹数据集。每条记录代表一个工作人员在模拟公司环境中的设备会话：目标扩展为节点树，终端节点通过低级鼠标/键盘输入驱动真实桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹记录为屏幕视频和每节点帧。特点包括应用原生多应用执行（无工作台覆盖）、每参与者内容多样性、跨操作系统消息传递和大规模多公司经济模拟。每个经济模拟作为独立数据集仓库发布。SynthUX Computer-Use Dataset — economy sim r2. Grounded visual computer-use trajectories generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. App-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo.

搜集汇总

数据集介绍

构建方式

本数据集基于SynthUX生成管道构建，旨在模拟企业环境中的图形用户界面（GUI）操作轨迹。每个数据记录对应一名模拟员工在虚拟公司内的设备会话过程：系统将一个自然语言目标扩展为层次化节点树，终端节点通过底层鼠标和键盘输入驱动桌面模拟器应用程序（包括终端、笔记、代码编辑器、浏览器、即时通讯、邮件、电子表格及演示文稿等），完整记录可观测的操作轨迹，并以屏幕视频及逐节点帧图像的形式保存。每条轨迹均来源于多公司、多角色的综合经济模拟，确保内容的多样性和真实性。

特点

该数据集的核心特色在于其原生的多应用跨平台执行能力，不依赖任何工作台叠加层，直接基于真实桌面模拟器环境生成。每个轨迹包含密集的低层级输入事件（鼠标、键盘及脚本）及其毫秒级时间戳，并伴有因果性模拟器状态快照，支持观察与操作事件的精确对齐。数据覆盖macOS、Windows及浏览器三种操作系统环境，包含6家模拟公司共36条轨迹、900帧图像，充分体现了多公司经济体系下的跨操作系统消息传递与内容多样性。

使用方法

数据集以JSON Lines格式存储，每条记录包含轨迹标识符、角色信息、模拟环境、自然语言目标、节点树、输入事件序列、因果状态观察及对齐信息。媒体素材以WebM屏幕录像和PNG逐帧截图形式提供，按轨迹和节点标识符组织目录结构。研究者可直接加载data.jsonl文件解析轨迹数据，利用per-node帧图像进行视觉特征分析，或使用完整视频进行端到端GUI代理行为建模。适用于训练和评估计算机使用型AI助手、GUI自动化代理及多步骤操作理解系统。

背景与挑战

背景概述

SynthUX-economy-r2-w006数据集由SynthUX团队于近期构建，旨在模拟现实企业环境中的跨应用图形用户界面操作，为计算机使用代理（GUI agents）提供视觉化的地面真值轨迹数据。该数据集通过模拟多公司经济体系，在macOS、Windows及浏览器桌面环境中生成包括终端、笔记、代码编辑器、办公套件等在内的多应用协同操作，涵盖详细的鼠标、键盘及脚本事件序列，并配备完整的屏幕视频与逐节点帧图像。作为合成数据的里程碑，它弥补了真实企业级GUI轨迹数据稀缺的空白，为训练和评估能够自主执行复杂跨应用任务的视觉语言模型奠定了坚实基础，对自动化办公、数字员工等领域具有重要推动作用。

当前挑战

该数据集面临的核心挑战涵盖领域问题与构建过程两方面。在领域问题上，现有GUI代理多聚焦单一应用或简单任务，缺乏对多应用协同、多角色身份切换及跨操作系统消息传递等复杂企业场景的适应能力，SynthUX通过模拟多公司经济结构引入这些要素，但如何确保代理在未见过的应用组合与动态目标下保持鲁棒性仍是关键。在构建过程中，数据生成的挑战包括：保证轨迹因果关系纯由底层输入驱动（无高级应用变异），以保持模拟的真实性；在有限样本（36条轨迹、6家公司）下平衡数据多样性与规模，避免过拟合；以及精准对齐低层级事件与语义节点，为监督学习提供可靠标注，这要求复杂的后处理流程与资源消耗。

常用场景

经典使用场景

在人工智能与计算机交互研究的前沿领域，SynthUX Economy R2 W006 数据集以其独特的模拟企业多应用环境，成为训练和评估图形用户界面智能体（GUI Agent）的经典基准。该数据集记录了模拟公司中不同角色的多轨迹屏幕操作视频和帧级数据，覆盖终端、浏览器、邮件、即时通讯、代码编辑器等多种办公软件的低级鼠标键盘输入。研究者和开发者可借此训练智能体理解自然语言目标任务，并逐步分解为可执行的GUI操作序列，从而在多应用切换与跨平台操作的真实场景中，提升智能体的任务执行能力与泛化表现。

实际应用

在实际应用场景中，该数据集为自动化办公、智能助理与机器人流程自动化的落地提供了坚实的数据支撑。企业可基于这些模拟银行、商业或通讯公司的多部门协作范例，训练智能体自动完成跨应用报表填写、邮件整理、会议安排等日常琐碎工作。数据集中包含原生应用程序级别的执行轨迹，避免了工作站覆盖图层的干扰，使得智能体的行为更接近真实人类操作。结合模拟器环境，该数据集可用于开发下一代人机协同系统，实现业务流程的智能化和精细化，显著降低人力成本与操作误差，具有广阔的商业应用前景。

衍生相关工作

围绕SynthUX数据集，学术界和工业界已衍生出一系列具有深远影响的经典工作。例如，研究者利用其丰富的多公司经济模拟场景，提出了基于意图驱动的GUI任务分解框架，探索了跨平台、跨应用的任务规划与执行策略。部分工作在此基础上构建了迁移学习与强化学习的混合方法，以便智能体在不同操作系统环境间灵活迁移。此外，该数据集独特的多角色、多目标设计，催生了群体智能与多智能体协作建模的研究方向，相关论文在顶级人机交互与人工智能会议上屡获关注，进一步推动了GUI智能体从实验室走向真实复杂环境的关键技术演进。