jacob-valdez/synthux-economy-r4-w014

SynthUX计算机使用数据集（经济模拟r4）是一个基于SynthUX生成的、以视觉为中心的计算机使用轨迹数据集。每个数据记录模拟了一个公司环境中工作者的设备会话：从自然语言目标扩展为节点树，终端节点通过低级鼠标和键盘输入驱动真实的桌面模拟器应用程序（包括终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频和每个节点的帧。该数据集支持应用原生多应用程序执行（无工作台覆盖），具有每个参与者内容多样性、跨操作系统消息传递和大型多公司经济模拟特性。每个经济模拟作为独立的数据集仓库发布，包含数据记录、节点截图和完整屏幕视频。The SynthUX Computer-Use Dataset — economy sim r4 is a grounded visual computer-use trajectory dataset generated by SynthUX. Each record represents one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (such as Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, etc.) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. It features app-native multi-application execution (without workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repository, containing data records, node screenshots, and full screen recordings.

搜集汇总

数据集介绍

构建方式

该数据集源自SynthUX框架，通过模拟多公司经济环境中的真实桌面操作轨迹而构建。每个记录对应一名员工在模拟公司内的设备会话：系统将自然语言目标展开为节点树，终端节点通过底层鼠标/键盘输入驱动桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack、邮件、表格、幻灯片等），完整观测轨迹以屏幕视频及节点帧的形式被捕获。每条轨迹均经过因果性验证，观测通道严格限定于低层输入，未采用任何高层应用突变机制。

特点

数据集具备原生多应用执行能力，无需工作台覆盖层，支持跨操作系统消息交互与多公司大规模经济模拟。每条轨迹均包含唯一的actor标识、公司归属、角色与职位信息，以及完整的输入事件时间序列与因果性模拟器状态。轨迹覆盖macOS、Windows及纯浏览器三种模拟环境，共含36条轨迹、903帧图像，分布于6家虚拟公司。每个节点帧于终端节点最后一次输入事件时截取，确保了视觉信息的时效性。

使用方法

用户可通过加载data.jsonl文件获取每条轨迹的完整结构化记录，包括目标文本、节点树、低层输入事件、模拟器状态及与节点的对齐关系。配套的screenshots目录提供按轨迹和节点ID组织的PNG帧图像，videos目录则包含全屏屏幕录制视频。适用于训练与评估基于视觉的GUI代理模型，支持多步推理、多应用协同及跨平台操作的场景研究。数据格式清晰，便于直接解析并集成到机器学习流程中。

背景与挑战

背景概述

SynthUX-Economy-R4-W014数据集由SynthUX研究团队于2024年创建，专注于生成式GUI代理在模拟企业环境中的视觉计算轨迹。该数据集的核心研究问题在于探索多应用协同场景下，基于低层次鼠标与键盘输入的代理行为建模，涵盖多个模拟公司内的员工角色、跨操作系统通讯及经济模拟循环。通过记录36个轨迹、903帧画面及对应的屏幕视频，它为计算机使用自动化领域提供了丰富的多任务、多应用基准，推动GUI代理从单一任务执行向复杂企业协作场景的迁移学习研究。

当前挑战

该数据集面临的核心挑战包括：领域层面，需解决GUI代理在跨应用、跨操作系统环境下的泛化能力不足问题，例如模拟经济中不同公司、角色间的差异化交互模式，以及从同步观察到低层次输入动作的因果推理。构建过程中，挑战在于生成高保真、去偏的轨迹数据，确保每个工作节点的终端操作（如终端、VS Code、浏览器）具有内容多样性，同时避免模拟器中的高级应用干预，以保持因果一致性。此外，录制视频与帧的时空对齐、多公司间消息流的动态协调也增加了数据采集的复杂性。

常用场景

经典使用场景

SynthUX-Economy-R4-W014数据集专为多应用协同的图形用户界面（GUI）代理研究而设计，其经典使用场景聚焦于模拟企业环境中多个工作人员在多种桌面应用间的复杂操作轨迹。数据集中每位工人被赋予公司内部的具体职位与目标，其任务通过终端节点驱动真实模拟器中的应用（如终端、备忘录、VS Code、浏览器、通讯软件、邮件、电子表格及幻灯片等），并记录完整的低层级鼠标与键盘输入事件及屏幕录像。研究者可利用这些轨迹数据训练或评估GUI代理在多步骤、跨应用的自主任务执行能力，例如从邮件中提取信息并整合到电子表格，或在通讯软件中协调团队资源。该场景的核心价值在于其原生多应用执行环境与真实模拟器交互，避免了常用的工作台覆盖层限制，使代理学习更具现实挑战性的复合操作逻辑。

解决学术问题

该数据集精准回应了GUI代理研究中长期存在的跨应用泛化性与生态效度不足的学术难题。传统数据集多局限于单应用或模拟界面，难以体现真实企业场景中多应用交替使用、跨平台消息传递及内容多样性的复杂动态。SynthUX-Economy-R4-W014通过构建多公司经济模拟体系，在6家虚拟公司内生成36条完整轨迹，包含900余帧图像，覆盖macOS、Windows及浏览器等多种操作系统环境。这为研究者提供了因果关联的观察数据——每个节点的低层级输入事件与后续状态变化一一对应，从而可深入分析代理决策的因果链条。数据集支持探究语义目标到原子操作的分解机制、多应用上下文保持策略，以及跨系统环境下的交互自适应等前沿问题，其多公司结构更允许研究代理在组织差异下的行为迁移与泛化能力，推动GUI代理研究从玩具场景迈向生态效度更高的实证阶段。

衍生相关工作

基于该数据集的结构与生成范式，可衍生出一系列富有影响力的研究工作。首先，利用其多公司环境，可开展跨组织元学习研究，探索如何让GUI代理从少数公司的操作样本中快速提取通用交互模式，并迁移至新公司场景，这类似于元学习在视觉领域的应用。其次，数据集提供的因果对齐观察记录（节点、输入事件与状态变化的对应关系），为解释性AI研究提供了理想载体，学者可借此分析代理在不同决策节点上的注意力机制与因果推理过程，发展透明、可解释的企业级GUI代理。再者，多平台（macOS、Windows、浏览器）的对称实验设计，可催生跨操作系统迁移学习的基准测试，研究底层输入抽象层如何实现平台无关的泛化。最后，数据生成的SynthUX框架本身也可被扩展为自动化数据集生成引擎，支持研究者按需构造特定行业（如医疗、金融）的多应用交互场景，推动GUI代理研究的标准化与复现性发展。