jacob-valdez/synthux-economy-r4-w029

SynthUX计算机使用数据集（经济模拟版本）是由SynthUX生成的基于视觉的计算机使用轨迹数据集。每个记录代表一个工人在模拟公司中的设备会话：一个目标扩展为节点树，终端节点通过底层鼠标/键盘输入驱动真实桌面模拟器应用（包括终端、笔记、VS Code、浏览器、Slack/Teams、邮件、Sheets、Slides等），观察到的轨迹被记录为屏幕视频和每节点帧。该数据集支持应用原生多应用程序执行（无工作台覆盖）、每参与者内容多样性、跨操作系统消息传递以及大规模多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。The SynthUX Computer-Use Dataset (economy sim version) consists of grounded visual computer-use trajectories generated by SynthUX. Each record represents one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (such as Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, etc.) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. It features app-native multi-application execution (without workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repository.

搜集汇总

数据集介绍

构建方式

该数据集源自SynthUX框架，通过在模拟公司环境中运行完整的图形用户界面代理工作流程来生成。每个数据记录代表一名员工在模拟公司内的设备会话，其中自然语言目标被分解为节点树，终端节点通过低层级鼠标与键盘输入驱动真实桌面模拟器应用，涵盖终端、笔记、代码编辑器、浏览器、即时通讯、邮件、表格与幻灯片等。整个过程不依赖工作台覆盖层，完全基于应用原生多应用执行环境进行渲染。最终，每个会话的观察轨迹被录制为屏幕视频，并按照节点层级保存关键帧，所有数据严格按照因果一致性原则收集，确保输入事件序列与系统状态演变之间的对齐关系。

特点

该数据集的一大特色在于其多公司经济模拟背景下的代理行为记录，涵盖来自六家不同公司的36条完整轨迹，跨越macOS、Windows及浏览器三种操作系统环境。每个轨迹不仅包括细粒度的鼠标与键盘输入事件，还嵌入每节点对应的应用状态快照与全屏视频回放，便于还原完整的交互过程。数据集中每条记录均标注了参与者身份、所属公司、职位角色以及任务目标，为研究不同角色、不同操作系统下的图形用户界面代理行为模式提供了丰富的对比维度。此外，所有观察均为因果序列，避免了高层应用变体的干扰，保证了数据的高保真度。

使用方法

该数据集主要面向图形用户界面代理、计算机使用行为分析以及多应用协同任务规划等研究方向。用户可通过加载data.jsonl文件读取每条轨迹的完整信息，包括目标描述、节点树结构、输入事件序列与对齐标签。结合screenshots目录下按轨迹和节点ID组织的PNG帧，可对关键操作节点进行可视化分析；videos目录中的WebM格式全屏录制则支持对完整会话的逐帧回放与行为观察。由于每条记录清晰区分了参与者、公司和角色，研究者可便捷地按特定变量进行筛选与分组，适用于构建跨系统、跨角色的代理行为基准与仿真环境评估。

背景与挑战

背景概述

SynthUX Computer-Use (economy sim) 数据集由 SynthUX 团队于近期创建，专注于模拟企业环境中多应用协同的图形用户界面（GUI）代理行为。该数据集的核心研究问题在于如何通过合成轨迹数据，训练能够理解并执行跨应用程序的计算机操作代理，以推动自动化办公和人机交互的边界。其影响力体现在为GUI代理研究提供了首个大规模、多公司、多操作系统的模拟经济场景，填补了真实轨迹数据稀缺且标注成本高昂的空白，有望加速从单一应用到复杂企业流程的自主操作研究。

当前挑战

该数据集所解决的领域挑战在于GUI代理在真实多应用交互中的泛化能力不足，例如代理人需在终端、浏览器、聊天工具及办公套件间无缝切换，而现有数据集多限于单应用场景。其构建过程中面临显著挑战：一是通过低层级鼠标键盘输入驱动桌面模拟器，确保操作序列的因果一致性与真实环境无异；二是为每个虚拟员工生成多样化内容（如角色、公司跨操作系统通信），防止代理过拟合于固定模板；三是平衡多公司经济模拟的规模与数据质量，在36条轨迹、987帧画面中封装企业级协作的复杂性，这对合成数据的身临其境程度提出了严峻要求。

常用场景

经典使用场景

在计算机视觉与智能体决策的交汇领域，SynthUX Economy数据集为多应用桌面环境的图形用户界面智能体研究提供了高保真的仿真轨迹资源。其经典使用场景聚焦于训练和评估能够跨终端、Notes、VS Code、浏览器、即时通讯及邮件等真实办公套件自主完成复杂任务的视觉语言模型。研究人员可利用其录制的屏幕视频和逐节点关键帧，将用户目标与低层级鼠标键盘事件序列对齐，从而构建端到端的GUI理解与操作代理。

解决学术问题

该数据集有效攻克了GUI智能体研究中长期存在的两大瓶颈：其一，真实世界多应用协同场景的高昂采集成本与隐私风险，通过模拟多公司经济体中的员工设备会话提供了可复现的替代方案；其二，弥合高层语义目标与底层操作轨迹之间的语义鸿沟，使研究共同体能够系统性地探索跨应用任务分解、错误恢复机制及因果动作归因。这些技术进步为构建具备通用电脑操作能力的智能体奠定了数据与方法论基础。

衍生相关工作

基于SynthUX Economy数据集，学术界和工业界已衍生出若干标志性工作：例如，有研究者提出了层级式视觉-语言动作模型（Hierarchical Vision-Language Action Model），借助该数据的多节点树状结构实现意图推理与动作执行的解耦；另有工作利用其跨公司多角色会话特性，构建了人机协作中的动态任务分配框架。这些衍生研究不仅验证了数据集在模型预训练与评测中的核心价值，更推动了GUI智能体理论体系的迭代演进。