jacob-valdez/synthux-economy-r4-w001

SynthUX计算机使用数据集是一个基于合成数据的视觉计算机使用轨迹集合，专门用于经济模拟。每个记录代表一个模拟公司内工作人员的设备会话，其中自然语言目标扩展为节点树，终端节点通过低级别鼠标/键盘输入驱动真实的桌面模拟器应用程序（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等）。观察到的轨迹被记录为屏幕视频和每个节点的帧。数据集支持应用原生多应用程序执行（无工作台覆盖），具有每个参与者内容多样性、跨操作系统消息传递和大型多公司经济模拟的特点。每个经济模拟作为独立的数据集仓库发布。The SynthUX Computer-Use Dataset is a collection of grounded visual computer-use trajectories generated by SynthUX for economy simulations. Each record represents one workers device session inside a simulated company, where a natural-language goal expands into a node tree, and terminal nodes drive real desktop-simulator applications (such as Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, etc.) through low-level mouse/keyboard input. The observed trajectory is recorded as a screen video plus per-node frames. It features app-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repository.

搜集汇总

数据集介绍

构建方式

该数据集源自SynthUX框架，专注于模拟企业环境中多应用并行的计算机操作轨迹。其构建过程通过为每位虚拟员工设定自然语言目标，将目标分解为节点树，终端节点驱动真实桌面模拟器应用（如终端、笔记、浏览器、邮件、表格等）执行底层鼠标与键盘操作，并记录完整的操作轨迹。每条轨迹对应一个渲染会话，包含屏幕视频、每节点截图及密集的底层输入事件，且观测数据严格基于低层输入的因果链生成，避免高层应用干扰。

特点

数据集的核心亮点在于其高度仿真的多应用并行执行环境，无工作台覆盖，确保轨迹的真实性。它覆盖macOS、Windows及浏览器三种模拟器环境，包含6家公司、36条轨迹与983帧截图，展现了丰富的跨组织、跨角色内容多样性。此外，每条轨迹记录了完整的层级结构（从目标到终端节点）、底层事件流与因果状态，支持细粒度分析，且通过多公司经济模拟体现大规模协作场景。

使用方法

数据集以标准格式存储于HuggingFace仓库，主文件为`data.jsonl`，每条记录含轨迹ID、角色信息、目标、节点树及输入事件。辅助资源按轨迹组织于`screenshots/`和`videos/`目录，分别提供每节点PNG帧与全屏WebM录像。研究人员可通过`load_dataset`函数加载数据，利用`trajectory_id`索引轨迹，结合`input_events`与`observations`字段研究GUI代理行为，或使用对齐字段`alignment`关联观测与事件范围，无需额外处理即可直接用于训练与评估。

背景与挑战

背景概述

SynthUX Economy R4 W001数据集由SynthUX团队于近期创建，专注于模拟多应用环境下的图形用户界面（GUI）代理研究。该数据集通过模拟公司经济体系，生成了36条涵盖6家虚拟公司的鼠标键盘操作轨迹，每条轨迹均包含完整的屏幕视频与逐节点帧图像。数据集的核心研究问题在于为计算机使用代理提供真实、多变的桌面操作场景，涵盖终端、浏览器、办公套件等跨应用协作任务。其生成的视觉电子轨迹与环境独立性设计，显著推动了多应用、跨操作系统GUI代理研究的基准测试与算法开发。

当前挑战

该数据集面临的挑战包括：首先，在领域问题层面，GUI代理需解决跨应用、跨操作系统的高保真操作模拟与泛化难题，现有数据集多局限于单应用或预设环境，难以支撑复杂经济场景下的多目标协作与动态决策。其次，在构建过程中，如何确保不同公司、角色间的个体内容多样性，同时维持模拟环境的经济逻辑一致性，是生成高质量轨迹的关键难点。此外，低层级鼠标键盘事件的因果记录与视觉帧的精准对齐，对仿真器的时间同步与数据保真度提出了严苛要求。

常用场景

经典使用场景

在计算机视觉与智能体研究的交汇领域，SynthUX Economy数据集为多应用协同的图形界面智能体（GUI Agent）研究提供了精细化的行为轨迹。该数据集记录了模拟公司环境中不同角色的完整设备操作过程，包括鼠标、键盘的低层级输入事件以及对应的屏幕视频和逐帧截图。其经典使用场景在于训练和评估能够跨应用执行复杂任务（如同时操作终端、浏览器、邮件及即时通讯工具）的视觉语言模型，推动从单一界面操作到多应用无缝衔接的智能体能力跃升。

衍生相关工作

围绕SynthUX Economy数据集已催生了一系列前沿探索，包括基于因果推断的操作轨迹分割方法，用于从长程视频中定位关键决策节点；多模态对比学习框架，利用逐帧截图与输入事件的时序对齐增强模型的细粒度理解；以及跨公司迁移学习的智能体微调策略，通过不同经济实体间的数据分布差异提升泛化能力。该数据集还将推动“合成数据生成-真实环境验证”的研究范式，为大规模模拟训练与少样本真实部署的桥梁搭建提供可复现的基准平台。

数据集最近研究

最新研究方向

该数据集聚焦于企业级多应用桌面环境中的视觉计算机使用轨迹研究，为前沿GUI智能体提供了高度真实的模拟训练场景。其核心创新在于模拟了六家公司的多角色、跨操作系统（macOS、Windows、Browser）的协作经济生态，通过原生多应用执行（终端、浏览器、办公套件等）和低层级鼠标/键盘事件记录，突破了传统单任务或单应用数据集的局限。这一方向紧密关联当前大语言模型驱动的自主桌面智能体热点，尤其是将AI agent从简单网页操作拓展至复杂的多应用工作流与组织级任务协同。SynthUX通过生成式方式构建包含983帧、36条完整轨迹的精细标注数据，为训练能够理解企业级上下文、执行多步骤跨应用操作的智能体提供了高质量训练与评估基准，对推动自动化办公、企业流程智能代理等前沿应用具有关键基础性意义。