jacob-valdez/synthux-economy-r3-w030

SynthUX计算机使用数据集（经济模拟r3）是一个基于视觉的计算机使用轨迹数据集，由SynthUX生成。每个记录代表一个模拟公司内员工的设备会话：一个目标扩展为节点树，终端节点通过低级鼠标/键盘输入驱动真实的桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频以及每个节点的帧。数据集支持应用原生多应用执行（无工作台覆盖）、每个参与者内容多样性、跨操作系统消息传递和大规模多公司经济模拟。每个经济模拟都作为独立的数据集存储库发布。Grounded visual computer-use trajectories generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. App-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo.

搜集汇总

数据集介绍

构建方式

SynthUX-Economy-R3-W030数据集由SynthUX生成，模拟了一家虚拟公司内多员工、多应用的计算机操作场景。每条记录代表一位工作者在模拟公司的设备会话：一个自然语言目标被扩展为节点树，终端节点通过底层鼠标/键盘输入驱动真实的桌面模拟器应用，包括终端、笔记、代码编辑器、浏览器、即时通讯、邮件、表格和幻灯片等。整个执行过程以屏幕视频和逐节点帧的形式记录，每个经济模拟版本作为独立的数据集仓库发布。数据构建基于因果观测机制，仅通过低层输入事件触发状态变化，未使用高层应用突变方式。

特点

该数据集的核心特色在于其多应用原生执行方式，无需工作台叠加层，保证操作轨迹的真实性与可视性。每位参与者拥有独立的内容多样性，支持跨操作系统消息通信，并涵盖大规模多公司经济体系。数据包含36条轨迹、1003个帧和6家模拟公司，分布在macOS、Windows及浏览器三种模拟环境中。每条轨迹记录了密集的低层鼠标/键盘事件及其时间戳、因果模拟器状态、观测与事件的节点对齐信息，以及完整的屏幕录像和逐节点截图。

使用方法

数据以标准格式存储，主要文件包括data.jsonl、screenshots/和videos/目录。每条记录通过trajectory_id唯一标识，包含参与者身份、公司归属、模拟环境、自然语言目标、节点树结构与底层输入事件序列。用户可直接读取JSONL文件解析轨迹信息，关联对应视频和帧图像进行多模态研究。该数据集适用于GUI智能体训练、计算机操作轨迹建模、多应用协同任务分析等场景，尤其适合构建能够在复杂桌面环境中执行跨应用目标的自动化系统。

背景与挑战

背景概述

在图形用户界面（GUI）智能体研究领域，基于真实环境的人类操作轨迹数据对于训练和评估自动化系统至关重要。SynthUX Computer-Use数据集（economy sim r3）由SynthUX团队于近期开发，旨在模拟多应用、多公司协作的办公场景，以生成高保真的电脑使用轨迹。该数据集通过模拟公司内部员工在多种桌面应用（如终端、VS Code、浏览器、邮件、电子表格等）中的操作行为，构建了包含36条轨迹、跨越6家虚拟公司的经济模拟环境。其核心研究问题在于如何生成具备多应用原生执行、跨操作系统通信和内容多样性的合成轨迹，从而为GUI智能体提供大规模的、可控的训练与评测资源。该数据集的出现弥补了传统真实采集数据成本高、隐私风险大以及场景单一的不足，对推动计算机视觉、人机交互和自动化流程等领域的研究具有重要影响力。

当前挑战

该数据集面临的核心挑战包括：其一，在领域问题层面，GUI智能体需要从高密度的低层级鼠标与键盘事件中理解用户意图，并从视频帧中提取有价值的视觉信息，这要求模型在长时序依赖和细粒度动作识别上具备强大能力；此外，跨应用、跨操作系统的交互模式（如macOS与Windows模拟器）进一步增加了泛化难度。其二，在构建过程中，合成数据需确保内容多样性以模拟真实员工行为，避免模式单一导致的过拟合；同时，因果观察记录依赖低层级输入通道（非高层应用变异），对模拟器底层状态同步的准确性提出了严苛要求；而多公司经济模拟中的并发操作与动态环境变量也增加了轨迹生成与对齐的复杂度。

常用场景

经典使用场景

在计算机视觉与智能体研究交叉领域，SynthUX经济模拟数据集为训练和评估图形用户界面（GUI）智能体提供了极为逼真的多应用操作环境。该数据集通过模拟真实公司内部员工在多个桌面应用程序（如终端、笔记、代码编辑器、浏览器、即时通讯、邮件、表格与幻灯片等）之间执行复杂任务的完整轨迹，包含了低层级的鼠标与键盘输入事件、屏幕录像以及关键帧截图。其最经典的使用场景是作为多应用、跨流程的GUI自主操作基准，研究者可据此训练智能体理解并复现人类在多任务、多窗口环境下的操作逻辑，从而推进GUI智能体从单一应用向复杂办公生态的泛化能力。

解决学术问题

该数据集精准针对当前GUI智能体研究中两大瓶颈：一是缺乏跨多个商业应用的真实操作数据，二是现有仿真环境往往使用覆盖层简化操作，难以反映底层原生应用的真实状态。SynthUX通过记录屏幕视频与因果状态，使研究者能够探讨智能体在视觉观察下的意图理解与动作规划问题，解决了“原生多应用协同操作”这一场景下监督数据稀缺的难题。其引入的多公司、多角色经济模拟框架，允许学术社区从组织行为学视角分析智能体在异构信息流中的决策模式，对研究人机协作、工作流程自动化与组织计算具有深远的方法论意义。

衍生相关工作

围绕SynthUX经济模拟数据集，学术社区已衍生出多个方向的经典工作。在数据生成方法论上，研究者借鉴其因果状态记录与多节点树形任务分解架构，提出了更具可解释性的智能体规划框架。在模型评估方面，该数据集催生了一系列针对跨应用GUI智能体的新指标，如操作召回率与窗口切换效率。一些工作进一步利用其多公司经济背景，构建了组织级别的模拟环境，用于探索信息不对称下的协作策略。此外，该数据集独特的“原生应用执行”特性启发了端到端视觉语言模型在计算机使用任务上的微调方法，推动了从感知到执行的统一建模范式发展。