jacob-valdez/synthux-economy-r5-w012

SynthUX计算机使用数据集——经济模拟r5，是一个基于SynthUX生成的基础视觉计算机使用轨迹数据集。每个记录代表一个模拟公司内员工设备会话的完整轨迹：目标扩展为节点树，终端节点通过低级鼠标/键盘输入驱动真实桌面模拟器应用程序（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频和每节点帧。数据集支持应用原生多应用程序执行（无工作台覆盖）、每参与者内容多样性、跨操作系统消息传递和大规模多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。SynthUX Computer-Use Dataset — economy sim r5. Grounded visual computer-use trajectories generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. App-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo.

搜集汇总

数据集介绍

构建方式

SynthUX Computer-Use (economy sim)数据集通过合成用户行为生成技术构建，模拟企业内部多角色员工在真实桌面环境中的计算机操作轨迹。每个数据记录对应一名员工在一次设备会话中的完整操作过程，从自然语言目标出发，逐步展开为节点树，终端节点驱动包括终端、笔记、代码编辑器、浏览器、即时通讯工具、表格与演示文稿在内的多款桌面应用程序，通过低层级鼠标与键盘输入完成交互，并将观察到的操作轨迹以屏幕视频和逐节点帧的形式记录下来。整个构建过程基于因果模拟器，仅依赖低层输入作为变异通道，未采用任何高层应用变异手段。

特点

该数据集的核心特色在于其原生多应用执行机制，无需工作台覆盖层即可在真实操作系统界面中完成跨应用操作，支持macOS、Windows及纯浏览器环境。数据集中包含36条操作轨迹、974个图像帧及6家模拟公司，覆盖不同操作系统上的多样化任务场景。每条轨迹均包含丰富的结构化信息，包括参与者身份与组织归属、自然语言目标、节点树中的底层操作细节（如表面、动作、目标与参数）、密集的低层输入事件及其时间戳、因果模拟器状态快照，以及轨迹与节点之间的对齐映射，为研究图形用户界面智能体提供了高度细粒度的真实模拟数据。

使用方法

数据集以HuggingFace数据集格式发布，主数据文件为data.jsonl，每条记录对应一条渲染后的操作轨迹，包含轨迹ID、参与者信息、环境类型、目标描述、节点树与完整输入事件序列。辅助媒体文件存放在screenshots/与videos/目录下，前者按轨迹与节点ID组织逐节点PNG图像帧，后者提供全屏操作录屏的WebM格式视频。用户可通过加载JSONL文件遍历所有轨迹，利用轨迹中的输入事件序列与观察状态进行GUI智能体模型的训练与评估，结合图像帧与视频数据进行多模态学习，也可借助对齐映射字段将特定操作步骤定位到对应的视觉与状态信息上。

背景与挑战

背景概述

SynthUX Computer-Use (economy sim) 数据集由 SynthUX 团队创建，专注于生成基于视觉的计算机使用轨迹，模拟多应用、多公司经济环境中的设备操作。该数据集于近期发布，旨在解决图形用户界面（GUI）代理研究中的数据稀缺问题。通过模拟真实公司内部的多角色工作流程，数据集记录了从自然语言目标到鼠标键盘操作的完整轨迹，为构建能够理解并执行复杂桌面任务的智能代理提供了高保真训练资源。其多应用、跨操作系统的特性（支持 macOS、Windows 及浏览器模拟）显著提升了数据多样性，对自动化办公、人机交互及 GUI 代理领域具有重要推动作用。

当前挑战

该数据集面临的核心挑战在于领域问题：现有 GUI 代理研究多局限于单应用或简单任务，缺乏对跨应用、多步骤复杂工作流的建模能力，导致模型难以泛化至真实公司环境。构建过程中，确保轨迹的因果一致性（仅通过低层输入驱动状态变化）以避免高层应用接口干扰，同时生成多样化（多公司、多角色、多操作系统）且可复用的数据，需平衡模拟效率与细节保真度（如屏幕录制与帧对齐）。此外，36条轨迹规模较小，限制了模型的泛化能力，未来需扩展至更大规模的经济模拟以提升数据覆盖性。

常用场景

经典使用场景

在图形用户界面（GUI）代理与多应用交互行为研究领域，SynthUX Economy数据集扮演着关键角色。该数据集通过模拟真实企业环境中的员工设备会话，提供了覆盖终端、笔记、代码编辑器、浏览器、即时通讯、邮件与办公套件等多类应用的跨应用操作轨迹。其经典使用场景聚焦于训练和评估能够理解自然语言目标、在复杂多窗口界面中自主执行鼠标键盘操作并完成多步骤任务的GUI代理模型，特别是在跨操作系统（macOS、Windows、Browser OS）的一致性与多样性表现上。

衍生相关工作

该数据集催生了一系列旨在提升GUI代理环境适应性与规划效率的研究工作。一方面，它启发了基于多模态学习（融合屏幕截图、事件流与自然语言）的代理架构设计，如将视觉语言模型与低层模拟器联动的方法。另一方面，围绕该数据集中提出的‘因果观测’概念，衍生出评估代理因果推理能力的工作。此外，数据集中的多公司组织图谱被用于研究代理如何建模组织对话与跨角色协作，推动了将计算社会学视角引入自主代理安全部署的研究方向。

数据集最近研究

最新研究方向

在当前图形用户界面智能体（GUI Agent）研究的浪潮中，复杂多应用环境下的自主操控能力已成为衡量智能体实用性的关键标杆。SynthUX Economy R5数据集应运而生，通过模拟包含六家公司的宏观经济生态，生成了36条横跨浏览器、macOS与Windows三大操作系统的原生桌面轨迹数据。该数据集的核心前沿性体现在其“多公司-多角色-多应用”的协同仿真架构：每个智能体作为模拟企业中的真实员工，需在终端、代码编辑器、办公套件及跨平台通讯软件之间无缝切换，执行由自然语言目标分解而来的低层级输入序列。这一设计直指当前GUI智能体领域三大痛点——跨应用数据流转、操作系统异构性适应以及多主体协作下的环境干扰鲁棒性。通过采集完整的屏幕视频与因果状态快照，SynthUX为训练能真正理解公私网上下文切换、处理异常弹窗并执行连续决策的视觉语言模型提供了黄金标准，其意义在于推动智能体从单任务脚本执行迈向动态企业级工作流程的自主编排。