jacob-valdez/synthux-economy-r4-w042

SynthUX计算机使用数据集是一个由SynthUX生成的基于视觉的计算机使用轨迹数据集，专注于经济模拟场景。每条记录代表一个工作人员在模拟公司内的设备会话：从一个目标扩展为节点树，终端节点通过低级鼠标/键盘输入驱动真实的桌面模拟器应用程序（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频以及每个节点的帧。该数据集支持应用原生多应用执行（无工作台覆盖）、每个参与者的内容多样性、跨操作系统消息传递以及大规模多公司经济模拟。每个经济模拟都作为独立的数据集仓库发布。Grounded visual computer-use trajectories generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. App-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo.

搜集汇总

数据集介绍

构建方式

本数据集来源于SynthUX框架，通过模拟企业环境中多员工设备操作行为生成。每个记录对应一名员工在虚拟公司内的桌面会话：自然语言目标被扩展为节点树，终端节点通过底层鼠标与键盘输入驱动真实桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），完整操作轨迹以屏幕视频及每节点帧的形式被记录。构建过程采用应用原生多应用执行模式，摒弃工作台覆盖层，确保操作的真实性与多样性。

特点

该数据集具备显著的多应用协同与内容多样性特征。轨迹覆盖6家虚拟公司、36个会话，涉及macOS、Windows及浏览器三种操作系统环境。每个会话包含密集的底层输入事件（鼠标、键盘、脚本）及因果模拟器状态，并建立了观测与输入事件到节点ID的精确对齐。跨操作系统的消息传递与多公司经济模拟机制，使得数据集在计算机使用任务中展现出高度的生态效度与现实模拟性。

使用方法

数据集以标准格式存储，便于计算机使用代理的训练与评估。主文件为`data.jsonl`，每条记录包含轨迹ID、所属公司、角色、目标、节点树、输入事件序列及对齐信息。屏幕视频以`.webm`格式存放于`videos/`目录，每终端节点的截图以`.png`格式存储于`screenshots/`对应轨迹文件夹。用户可通过遍历JSONL记录，结合视频与帧图像进行多模态代理行为学习与基准测试。

背景与挑战

背景概述

SynthUX Computer-Use (economy sim r4) 数据集由 SynthUX 研究团队于近期创建，旨在填补图形用户界面（GUI）代理在复杂、多应用桌面环境中进行视觉化计算机操作研究的数据空白。该数据集通过模拟多公司经济体中的员工设备会话，记录了每个工作者在仿真操作系统（macOS、Windows、浏览器）中使用终端、笔记、代码编辑器、浏览器、即时通讯、邮件、电子表格等工具完成自然语言目标的完整轨迹。每个轨迹包含低层级鼠标/键盘事件、屏幕视频以及每节点帧图，为发展具备跨应用多任务处理能力的 GUI 代理提供了前所未有的细粒度、以视觉为驱动的训练与评估基准。该数据集强调应用原生执行与用户内容多样性，对推动计算机使用代理向真实办公场景泛化具有重要影响力。

当前挑战

该数据集主要面临两大挑战：第一，在领域问题层面，现有 GUI 代理研究多局限于单一应用或受限工作流，难以应对真实世界中多应用交错、跨操作系统消息传递以及动态经济环境下的任务规划与执行。SynthUX 数据集致力于解决代理在复杂多应用桌面场景下的视觉理解、长程决策与低层级操作控制难题，但如何确保代理能从有限轨迹中习得普适性策略仍是重大挑战。第二，在构建过程中，模拟大规模多公司经济体并生成因果一致的轨迹需要精细的仿真引擎设计，每段轨迹均需在保持低层级输入通道纯净的前提下记录完整的观察状态，同时保证帧图与事件流的时序对齐，这对数据采集的准确性与可扩展性提出了苛刻要求。

常用场景

经典使用场景

在智能体与图形用户界面交互的研究领域中，SynthUX Economy数据集为训练和评估能够理解并操作多应用桌面环境的自主智能体提供了关键性资源。该数据集包含36条由合成方法生成的计算机使用轨迹，每条轨迹均记录了一名模拟企业员工在真实桌面模拟器上完成自然语言目标的过程，涵盖了终端、笔记、代码编辑器、浏览器、即时通讯、邮件、表格与幻灯片等多种应用程序的协同操作。研究者可借助这些带有精确时间戳的低级鼠标键盘事件序列、全屏视频录像以及逐节点截图，构建能够感知屏幕内容、规划操作序列并执行跨应用任务的视觉语言模型。数据集在模拟的经济系统中引入了跨组织角色、多样化内容与异构操作系统，使得智能体在动态多应用场景中的泛化能力与鲁棒性评估成为可能，为GUI智能体的研究设立了高保真度的基础测试平台。

实际应用

实际部署中，基于该数据集训练出的GUI智能体能够直接赋能企业办公自动化场景，模拟员工执行诸如跨应用数据同步、多平台信息检索、自动化报告生成与内部协调沟通等繁琐任务。数据集中的每个轨迹都反映了真实工作流中的线性与并行操作模式，使得智能体学会处理来自不同应用的动态通知、文件路径切换以及上下文信息整合。例如，智能体可以模仿数据集中角色的行为，从邮件中提取需求，在表格中检索数据，借助代码编辑器完成分析，并将结果通过即时通讯工具共享到团队。这类应用显著降低了人工重复操作的时间成本，尤其在模拟经济系统设置下的多线程任务环境中，智能体的适应性操作能够提升企业响应效率。此外，该数据集还为开发跨操作系统（macOS、Windows、浏览器）的通用界面自动化工具提供了训练蓝图。

衍生相关工作

基于该数据集的基础架构与生成逻辑，学术界与工业界已衍生出一系列相关工作，包括构建更大规模的多公司经济模拟数据集、开发面向GUI智能体的去噪和轨迹压缩算法，以及探索基于因果推理的任务分解策略。研究者借鉴其多应用节点树的分层建模思想，提出了将自然语言目标动态分解为可执行原子操作的框架，推动了符号规划与深度学习的融合。此外，该数据集的设计理念还启发了若干关于智能体对齐与安全性的工作，使得模型在执行真实桌面操作前能够在可控的模拟环境中接受伦理风险评估。在应用层面，它促进了对低层次物理操作（鼠标键盘事件）与高层次语义理解之间映射关系的形式化研究，为后续诸如人机协作编码助手、自动化测试工具与辅助办公智能体的开发提供了方法论支撑与验证基准。