jacob-valdez/synthux-economy-r5-w056

SynthUX计算机使用数据集是一个合成数据集，包含由SynthUX生成的基于视觉的计算机使用轨迹。每个记录代表模拟公司环境中一个工作人员的设备会话：一个目标扩展成节点树，终端节点通过低级别鼠标/键盘输入驱动真实的桌面模拟器应用程序（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频和每个节点的帧。数据集支持应用原生多应用程序执行（无工作台覆盖），具有每个参与者内容多样性、跨操作系统消息传递以及大型多公司经济模拟的特点。每个经济模拟作为独立的数据集仓库发布。Grounded visual computer-use trajectories generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. App-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo.

搜集汇总

数据集介绍

构建方式

该数据集基于SynthUX框架生成，模拟了一家虚拟公司内的多员工设备操作场景。每个数据记录对应一名工人在模拟公司中的一次设备会话，其自然语言目标被展开为一棵节点树，终端节点通过底层鼠标与键盘输入驱动真实桌面模拟器应用，包括终端、笔记、代码编辑器、浏览器、即时通讯、邮件、表格和演示文稿等。整个操作轨迹被录制为屏幕视频，并逐节点截取帧图像，形成完整的视觉化计算机使用记录。

特点

数据集的核心特色在于应用原生的多应用执行方式，摒弃了工作台覆盖层，确保了操作的真实性与视觉一致性。同时，按角色区分的内容多样性、跨操作系统的消息交互以及大规模多公司经济模拟，为研究复杂人机交互行为提供了丰富场景。每条轨迹均包含密集的底层输入事件序列、因果模拟器状态以及观察结果与节点之间的对齐信息，便于进行细粒度的行为分析与建模。

使用方法

数据以JSONL格式存储于`data.jsonl`文件中，每条记录包含轨迹标识符、角色信息、环境类型、自然语言目标、节点树结构、输入事件序列及观察结果。对应的屏幕截图按`<trajectory>/<node_id>.png`路径存放于`screenshots`目录，完整屏幕录像则以WebM格式保存于`videos`目录。使用时可通过解析JSONL记录加载结构化数据，并结合截图与视频进行多模态分析与应用开发。

背景与挑战

背景概述

SynthUX Computer-Use (economy sim) 数据集由 SynthUX 团队于近期创建，专注于模拟多公司经济体系中的图形用户界面（GUI）代理行为。该数据集通过合成生成的方式，记录了虚拟公司内员工在桌面模拟器（如终端、浏览器、代码编辑器等）上执行自然语言目标时的完整视觉轨迹，包括屏幕视频和逐节点帧。核心研究问题在于如何构建具备跨应用、跨操作系统操作能力的计算机使用代理，以应对复杂多变的现实商业场景。该数据集填补了多应用协作与大规模经济模拟领域的数据空白，为 GUI 代理的泛化能力与实用性评估提供了重要基准，对推动自动化办公与智能助手技术的发展具有显著影响力。

当前挑战

该数据集所解决的领域挑战在于：GUI 代理需在真实多应用、多操作系统环境中实现低层级鼠标/键盘操作，并协调跨应用消息传递与内容多样性，这远超传统单一任务代理的复杂度。构建过程中面临的核心挑战包括：1）模拟大规模多公司经济体系，确保每个角色的目标、环境与行为具有真实性与多样性；2）采集因果性观察数据，仅依赖低层级输入进行状态突变，避免高层应用干预以保持轨迹的逼真性；3）生成并标注大量同步的视频与帧数据，同时维护轨迹与节点、事件的精确对齐，以保证数据对代理学习的可用性与可靠性。

常用场景

经典使用场景

在计算机视觉与智能体交叉的研究领域中，SynthUX Economy R5 W056数据集以其高保真度的多应用计算机操作轨迹而著称。它记录了模拟公司内不同角色的员工在真实桌面环境中执行复杂任务的全过程，涵盖终端、代码编辑器、浏览器、邮件客户端及即时通讯软件等应用程序之间的协同操作。研究者通常将该数据集用于训练和评估基于视觉理解的图形用户界面智能体，这些智能体需要从屏幕像素流中解析出操作意图与任务状态，进而生成符合逻辑的用户行为序列。该数据集通过提供精确到像素级的屏幕录像和每节点关键帧，为构建端到端的计算机使用代理提供了理想的基准测试与训练资源。

解决学术问题

该数据集精准回应了计算机使用智能体中长期存在的三个核心学术难题：真实多任务环境下的行为建模、跨应用操作链的可迁移性、以及低层级输入与高层级意图之间的语义鸿沟。通过模拟包含多个角色与组织的经济体环境，它为解决多智能体协作中的任务分配与状态同步问题提供了可复现的实证基础。数据集的因果捕获机制（仅依赖低级输入而非应用层突变）保障了观测序列的纯净性，使研究者能够严格区分智能体决策与系统自动响应，从而构建更鲁棒的因果推断模型。这些特性使其成为推动通用视觉计算机智能体从实验室走向复杂现实应用的关键实验平台。

衍生相关工作

该数据集的发布催生了多个方向的研究工作。围绕其多应用、多组织的设计范式，研究者构建了更复杂的公司经营模拟环境，用以探索智能体在供应链管理、跨部门沟通与角色扮演中的协作能力。基于其每节点关键帧与对齐信息，衍生出针对操作序列的细粒度时序动作定位模型，大幅提升了从视频中提取子任务边界的能力。此外，部分工作利用其经济体系背景，将金融决策中的直觉推理与视觉化界面操作相结合，开创了“视觉化经济学”这一交叉领域，推动了将大语言模型与屏幕视觉理解融合以执行财经工作的新范式。