jacob-valdez/synthux-economy-r5-w017

SynthUX计算机使用数据集是一个基于模拟公司环境的视觉化计算机使用轨迹数据集。每条记录代表一个员工在模拟公司内的设备会话：目标扩展为节点树，终端节点通过低级鼠标/键盘输入驱动真实的桌面模拟器应用程序（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频和每个节点的帧。该数据集支持应用原生多应用程序执行（无工作台覆盖）、每个参与者内容多样性、跨操作系统消息传递以及大规模多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。Grounded visual computer-use trajectories generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. App-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo.

搜集汇总

数据集介绍

构建方式

该数据集源自SynthUX框架，通过模拟公司内部多应用交互环境生成基于视觉的计算机使用轨迹。每个记录对应一名员工在模拟公司内的设备会话，其生成流程始于自然语言目标，随后将目标扩展为节点树，终端节点通过低层级鼠标与键盘输入驱动真实桌面模拟器应用，最终记录为屏幕视频及逐节点帧。数据集采用多公司经济模拟机制，确保角色内容多样性与跨操作系统信息传递，且所有观察均为因果驱动，未使用高层应用突变。

特点

数据集兼具应用原生多应用执行、按角色内容多样性与跨操作系统消息传递等核心特质，依托大型多公司经济模拟实现丰富的交互场景。每个轨迹包含密集的低层级输入事件与因果模拟器状态，通过对齐链接将观察与输入事件范围映射至节点标识符，确保轨迹的高度可复现性。共收录36条轨迹、928帧画面，覆盖macOS、Windows及浏览器三类操作系统环境，且源自6家模拟公司。

使用方法

数据以JSON Lines格式存储于data.jsonl文件中，每条记录包含轨迹标识符、执行环境、自然语言目标、节点树、输入事件序列与观察状态等字段。同目录下的screenshots文件夹提供每个终端节点的PNG帧，videos文件夹则提供完整屏幕录制视频。研究人员可直接通过轨迹标识符与节点标识符加载对应帧与视频，结合事件时间戳与对齐信息进行模型训练与评估。

背景与挑战

背景概述

SynthUX Computer-Use (economy sim) 数据集由 SynthUX 团队于近期创建，专注于生成多应用、跨操作系统的计算机使用轨迹。该数据集模拟了企业内部员工在真实桌面环境中的交互行为，涵盖终端、笔记、代码编辑器、浏览器、即时通讯、邮件及办公套件等多种应用程序，每个轨迹对应一名员工在模拟公司中的完整设备会话。其核心研究问题在于为GUI代理（GUI agents）提供高保真、视觉化的计算机操作数据，以推动自动化界面交互的发展。SynthUX 通过自研的合成生成框架，将自然语言目标转化为细粒度的节点树，进而驱动桌面模拟器生成低层级的鼠标与键盘事件，并记录屏幕视频及逐帧截图。该数据集的一大特色在于其“多公司经济模拟”设计，通过跨组织的演员内容多样性和操作系统间的消息传递，复现了复杂的企业协作场景，为多应用、多窗口、多目标的计算机使用任务提供了独特的基准资源，在AI代理与图形用户界面交互研究领域具有重要影响力。

当前挑战

该数据集旨在解决计算机使用领域中的核心挑战：如何让AI代理在复杂的多应用环境中高效执行跨应用程序任务，并应对真实桌面操作中的视觉多样性、输入离散性及动作序列的因果依赖性。具体而言，当前挑战包括：（1）应用间的无缝切换与协作，如从浏览器中获取信息后直接在代码编辑器中编写脚本，再通过即时通讯工具分享结果，这要求代理具备任务分解与动作规划能力。（2）低层级输入事件的精确控制，包括鼠标点击位置、键盘快捷键及拖拽操作，任何微小偏差都可能导致任务失败，因此对数据中动作与观察的因果对齐提出了极高要求。（3）数据构建中的规模化与多样性平衡，SynthUX 采用了基于模拟器的自动生成方法，但确保每个轨迹在视觉内容、角色行为及公司经济逻辑上的真实性，同时避免模式化重复，仍是一大技术挑战。此外，跨操作系统（macOS、Windows、浏览器OS）的兼容性测试与轨迹标准化，也增加了数据构建的复杂度。

常用场景

经典使用场景

SynthUX Economy模拟数据集（synthux-economy-r5-w017）专为构建和评估多应用、多平台的图形用户界面（GUI）智能体而设计。其经典使用场景在于提供一种高度结构化的、由底层鼠标和键盘事件驱动的视觉轨迹数据，使研究者能够在模拟的企业环境中，训练模型理解并执行从自然语言目标到具体操作的复杂映射。数据集涵盖了终端、笔记、VS代码、浏览器、即时通讯、邮件和办公套件等多种桌面应用的协同操作，每个轨迹都包含了完整的屏幕录像和逐节点的关键帧快照，为开发能够跨应用执行真实任务的自主GUI智能体提供了坚实的基础。

解决学术问题

该数据集直面当前GUI智能体研究中数据稀缺和任务单一化的核心瓶颈。在学术层面，它解决了三个关键问题：其一，提供了多公司、多角色、多操作系统的异构轨迹数据，突破了传统单应用或模拟环境的数据局限，使得跨域泛化能力的研究成为可能。其二，通过记录低层级的因果关系（输入事件直接映射到模拟器状态变化），为解析智能体决策过程与界面反馈之间的因果链提供了可靠依据。其三，引入了多智能体经济模拟的视角，首次将GUI操作置于一个动态的社会技术系统之中，推动了对智能体协作、竞争及长期任务规划等复杂行为的研究，对深化人机交互与人工智能交叉领域的理论探索意义深远。

衍生相关工作

该数据集衍生了多个重要的研究方向与工作。其底层SynthUX生成框架启发了一系列关于可控合成轨迹的研究，促使学界探索如何将抽象目标任务分解为可执行的GUI动作树。基于其丰富的跨应用交互记录，研究者开发了专门针对多窗口工作流的任务规划和记忆模型，如利用注意力机制捕捉应用切换时的上下文信息。在经济模拟场景方面，衍生工作包括构建多智能体经济模拟平台，用于研究智能体在共享资源约束下的行为策略。此外，数据集中提供的因果状态观测与动作映射，催生了用于预测GUI操作效果和进行反事实推理的因果模型，推动了可解释GUI智能体的发展。