jacob-valdez/synthux-economy-r5-w010

SynthUX计算机使用数据集（经济模拟r5）是一个基于SynthUX生成的视觉计算机使用轨迹数据集。每个记录代表一个工人在模拟公司内的设备会话：目标扩展为节点树，终端节点通过低级鼠标/键盘输入驱动真实桌面模拟器应用（如Terminal、Notes、VS Code、浏览器、Slack/Teams、邮件、Sheets、Slides等），观察到的轨迹被记录为屏幕视频以及每个节点的帧。该数据集支持应用原生多应用程序执行（无工作台覆盖）、每个参与者内容多样性、跨操作系统消息传递和大型多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。内容包括data.jsonl（每个渲染轨迹一条记录）、screenshots文件夹（每个终端节点的帧，在节点最后一个输入事件时捕获）和videos文件夹（完整屏幕录制）。记录模式包括轨迹ID、参与者ID、公司、角色ID、标题、环境（模拟器类型）、自然语言目标、节点树、输入事件、观察结果、对齐信息以及媒体文件（视频和帧）。统计显示本构建包含36个轨迹、36个视频、859帧和6个公司，环境分布为browser-os（11）、macos-web-next（11）和windows-web-next（14）。数据来源为SynthUX工具生成，观察基于因果性（突变通道为低级输入），捕获过程中未使用高级应用突变。SynthUX Computer Usage Dataset (Economic Simulation r5) is a visual computer usage trajectory dataset generated based on SynthUX. Each record represents a device session of a worker within a simulated company: goals are expanded into a node tree, and terminal nodes drive real desktop simulator applications (such as Terminal, Notes, VS Code, browsers, Slack/Teams, email, Sheets, Slides, etc.) through low-level mouse and keyboard inputs. The observed trajectories are recorded as screen videos and frames for each node. This dataset supports native multi-application execution (no workspace overlay), content diversity for each participant, cross-operating system messaging, and large-scale multi-company economic simulations. Each economic simulation is released as an independent dataset repository. The content includes data.jsonl (one record per rendered trajectory), the screenshots folder (frames for each terminal node, captured at the node's last input event), and the videos folder (full screen recordings). Record fields include trajectory ID, participant ID, company, role ID, title, environment (simulator type), natural language goals, node tree, input events, observations, alignment information, and media files (videos and frames). Statistics indicate that this build contains 36 trajectories, 36 videos, 859 frames, and 6 companies. The environment distribution is browser-os (11), macos-web-next (11), and windows-web-next (14). The data was generated using the SynthUX tool. The observations are based on causality (mutation channels are low-level inputs), and no high-level application mutations were utilized during the capture process.

搜集汇总

数据集介绍

构建方式

本数据集基于SynthUX框架生成，旨在模拟多公司经济体系中的桌面计算机使用轨迹。每个数据记录对应一名虚拟员工在模拟公司内的设备会话，其自然语言目标被扩展为节点树，终端节点驱动真实桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等）执行底层鼠标与键盘操作。整个执行过程不采用工作台叠加层，而是直接操控应用原生界面，并通过屏幕视频与每节点帧图的形式记录完整的观察轨迹。数据经过因果性捕获，仅依赖底层输入事件变更模拟状态，确保了生成的逼真性与一致性。

特点

该数据集的核心特色在于其多应用、多公司的经济模拟场景设计，实现了跨操作系统消息通信与演员间内容多样性，显著提升了轨迹的生态效度。数据包含36条完整轨迹、859个节点帧图及6个虚拟公司的会话记录，覆盖macOS、Windows及纯浏览器三种模拟环境。每条轨迹均提供了底层输入事件序列、因果模拟状态、对齐信息以及全屏录制视频，便于研究人员从宏观任务目标与微观交互细节两个层面进行分析。

使用方法

数据集以JSON Lines格式存储，每条记录包含唯一轨迹标识符、演员与组织信息、自然语言目标、节点树结构、密集输入事件序列及因果观察状态。配套媒体资源存放于独立的screenshots与videos目录下，分别提供每终端节点的PNG帧图与全屏WebM视频。研究者可通过解析data.jsonl文件提取语义化字段，结合帧图与视频进行多模态分析，适用于GUI智能体训练、人机交互行为建模及多任务规划等研究方向。

背景与挑战

背景概述

在人机交互与自主代理研究快速演进的时代背景下，基于图形用户界面的智能体系统面临着从静态任务执行向动态、多应用协同场景拓展的迫切需求。SynthUX Economy R5 W010数据集由SynthUX团队于2024年创建，聚焦于模拟企业内部的多用户、多应用计算机使用场景。该数据集通过生成式方法构建了包含36条轨迹、859帧图像及完整屏幕录像的细粒度操作记录，跨越macOS、Windows及浏览器三种操作系统环境，涉及6家虚拟公司的角色化工作流程。其核心研究问题在于：如何在大规模、多应用、跨平台的动态经济模拟中，为GUI代理提供真实且可扩展的行为训练与评估基准。这一数据集不仅填补了现有GUI代理数据集在组织级协作与多任务调度方面的空白，更为人机协作、自动化办公及企业级智能体系统的研究提供了宝贵的基础设施。

当前挑战

该数据集所解决的核心领域挑战在于GUI代理在复杂多应用环境下的自主操作泛化能力，传统数据集多局限于单一应用或封闭任务，难以支撑跨应用、跨平台及多用户协作的评估需求。SynthUX通过构建包含终端、代码编辑器、浏览器、即时通讯及办公套件的多应用模拟框架，突破了这一瓶颈。在构建过程中，团队面临了若干技术挑战：其一，如何在不依赖高层应用API的前提下，仅通过底层鼠标与键盘事件驱动应用状态变化，以保持因果一致性；其二，如何为每个模拟工人生成语义连贯、角色契合的目标与操作节点树，确保内容多样性；其三，如何协调六家虚拟公司间的跨组织通信与资源流转，形成可重复的经济模拟生态。这些挑战的解决为高质量、动态化GUI代理数据集的构建树立了新范式。

常用场景

经典使用场景

在计算机图形界面智能代理（GUI Agent）的研究领域，SynthUX-economy-r5-w010数据集为多应用协同操作任务提供了高质量的基准测试环境。该数据集通过模拟企业环境中多个员工在虚拟桌面上的完整操作轨迹，涵盖了终端、笔记、代码编辑器、浏览器、即时通讯、邮件、电子表格及演示文稿等多种办公应用的跨应用交互。研究者可利用此数据集训练与评估具备视觉理解、多步骤规划及跨应用操作能力的智能代理模型，尤其适用于研究在复杂、多窗口桌面环境中实现自然语言指令驱动任务执行的经典范式。

实际应用

在实际应用层面，该数据集所驱动的GUI代理技术可广泛应用于企业级办公自动化场景。例如，通过训练智能代理自动完成财务部门的月度报表整合、跨部门通讯的会议安排协调，或客户服务场景下的信息检索与响应生成任务。此外，数据集涵盖的macOS、Windows及浏览器虚拟化环境，使得基于该数据训练的代理能够适应不同操作系统下的软件生态，为构建跨平台的企业数字员工助手提供了可能，显著提升日常办公流程中的多应用协作效率。

衍生相关工作

基于SynthUX数据集的独特架构，一系列衍生研究随之涌现。研究者利用其多公司、多角色的轨迹结构，开发了用于评估代理社交理解能力的基准测试，例如通过分析同一经济体中不同角色的操作日志，推演组织内信息流动模式。另一分支工作聚焦于轨迹压缩与高效表示学习，利用其密集的低层输入事件与对齐标注，训练能够从稀疏视觉帧中重构完整操作路径的预测模型。这些衍生于开源数据集的探索，进一步拓展了计算机视觉与任务规划交叉领域的研究边界，促进了具身智能体在复杂数字环境中的应用落地。