jacob-valdez/synthux-economy-r5-w003

SynthUX计算机使用数据集——经济模拟r5是一个基于视觉的计算机使用轨迹数据集，专门设计用于经济模拟场景。每个记录代表模拟公司内一个员工的设备会话：一个目标被扩展为节点树，终端节点通过低级别鼠标/键盘输入驱动真实的桌面模拟器应用程序（包括终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频和每个节点的帧。数据集支持应用原生多应用程序执行（无工作台覆盖），具有每个参与者内容多样性、跨操作系统消息传递和大型多公司经济模拟的特点。每个经济模拟作为独立的数据集仓库发布。SynthUX Computer-Use Dataset — economy sim r5 is a grounded visual computer-use trajectories dataset generated by SynthUX for economy simulation scenarios. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. It features app-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo.

搜集汇总

数据集介绍

构建方式

该数据集由SynthUX框架生成，模拟了一个多公司经济体系中的计算机使用场景。每条记录对应一名员工在虚拟公司内的设备会话：一个自然语言目标被分解为节点树，终端节点通过低层级的鼠标与键盘输入驱动真实桌面模拟器应用，如终端、笔记、代码编辑器、浏览器及办公套件等。整个操作轨迹被录制为屏幕视频，并为每个终端节点截取帧图像。经济模拟过程采用因果观察机制，仅记录低层级输入引发的状态变化，杜绝高层级应用突变干扰，确保了数据的真实性与可溯源性。

特点

本数据集的核心亮点在于其原生多应用执行环境，摒弃了工作台覆盖层，实现了跨操作系统消息交互与单 actor 内容多样性。数据规模包含36条轨迹、1035帧图像及6个虚拟公司，覆盖macOS、Windows及纯浏览器三种桌面模拟环境。每条轨迹都提供了从目标到低层级输入事件的完整对齐记录，包括键盘、鼠标及脚本事件的时间戳序列，以及因果模拟器状态的逐步快照，为细粒度的GUI代理行为分析提供了丰富的结构化素材。

使用方法

数据集以标准格式发布，主文件为data.jsonl，每条记录包含独特轨迹标识符、所属公司及角色信息、自然语言目标、节点树结构、密集输入事件序列与因果观察状态。此外，screenshots目录按轨迹组织终端节点帧图像，videos目录提供完整的屏幕录制WebM视频。研究人员可直接加载JSONL文件解析轨迹结构，结合图像与视频进行视觉-动作对齐分析，适用于训练与评估计算机使用代理在多应用、多组织场景下的执行能力与泛化性能。

背景与挑战

背景概述

SynthUX Computer-Use (economy sim) 数据集由 SynthUX 项目团队于近期创建，旨在通过合成数据生成技术，模拟多应用、多操作系统的图形用户界面（GUI）代理在真实企业环境中的交互轨迹。该数据集聚焦于经济模拟场景，包含 6 家虚拟公司、36 条完整的工作会话轨迹，覆盖 macOS、Windows 及浏览器模拟器，记录了从自然语言目标到低层级鼠标/键盘事件的完整转换过程。作为首开先河的多公司经济模拟 GUI 数据集，它填补了现有计算机使用数据集中缺乏跨应用、跨平台、多角色协同交互的空白，为研究基于视觉的自主代理在企业流程自动化、人机协作及复杂软件生态中的行为建模提供了标准化的基准资源，对推动 GUI 代理从单一任务向多应用、多用户场景的泛化具有重要影响力。

当前挑战

该数据集所解决的领域挑战在于，现有计算机使用数据集多局限于单一应用或固定操作系统环境，无法有效训练能处理真实企业场景中跨应用数据传递、跨平台消息通信及多角色协作的 GUI 代理，而 synthux-economy-r5-w003 通过模拟完整的经济体系运行提供了多应用、多 OS 的密集交互数据。构建过程中面临的挑战包括：如何在无工作台覆盖层（no workbench overlay）的前提下实现原生多应用同步执行并保持内容多样性；如何确保低层级输入事件序列与高层级任务节点在因果一致性下的精准对齐（alignment）；以及如何在数据捕获阶段避免高层级应用突变（high-level app mutation）干扰，仅通过低层级输入变异通道（low_level_input）维持观察的因果性，从而保证生成的屏幕视频与逐节点帧数据的可信度与复现性。

常用场景

经典使用场景

在计算社会科学与人机交互研究领域，SynthUX Economy R5 W003数据集为多应用、多代理的图形用户界面交互行为建模提供了珍贵的实验场。其核心用途在于通过模拟企业环境中不同角色的工作者在真实操作系统（macOS、Windows、浏览器）上完成复杂任务的全过程，系统性地录制了从自然语言目标分解为节点树，再到底层鼠标、键盘操作的完整轨迹。研究者可借助该数据集探索大型语言模型驱动的GUI代理在跨应用协作（如同时操作终端、笔记、代码编辑器、邮件及即时通讯工具）中的规划能力、错误恢复机制以及多任务执行效率。数据集中的每一条轨迹均配有屏幕视频和逐帧截图，使得细粒度的行为分析成为可能，为构建更鲁棒的计算机使用智能体提供了坚实的基础。

实际应用

在实际应用层面，此数据集能够直接赋能企业级自动化工具的研发与迭代。例如，金融机构或科技公司可基于这些轨迹训练能够模拟员工日常办公流程的智能助手，使其自动完成跨系统的数据录入、报表生成与审批流转，从而显著降低重复性劳动的人力成本。此外，数据集中的多应用交互记录为软件测试领域提供了逼真的工作流脚本，质量保障团队可借此构建更贴近真实用户行为的自动化回归测试用例。在教育与技能培训场景下，这些录制的操作视频与节点注释可以转化为交互式教学案例，帮助新员工以可视化方式理解标准操作流程，缩短上岗适应周期。最终，该数据集所倡导的“可观察、可归因”的录制范式，也为开发符合企业合规要求的审计追踪系统提供了技术参考。

衍生相关工作

此数据集的发布催生了一系列富有启发性的前沿探索。一个显著的方向是基于数据集中的多代理剧本（multi-actor scenario）构建竞争与协作式的智能体训练框架，例如让多个GUI代理在同一模拟公司内分别扮演财务、运营和管理角色，通过观察它们之间的通讯（如Slack/邮件）与任务交接行为，发展出具备团队意识和社会智能的联合行动模型。另一经典工作是将其应用于多模态基础模型的对比分析：研究者利用标准化的轨迹视频和事件对齐信息，评估如GPT-4V、Gemini等视觉-语言模型在理解动态屏幕内容、预测下一步操作方面的表现差异，从而诊断当前模型在细粒度视觉定位和时序推理上的薄弱环节。此外，若干研究还借鉴了数据集中的“经济模拟”设计理念，扩展到医疗、物流等垂直领域，创造出类似的多应用、多角色轨迹数据集，推动了GUI智能体研究从单任务执行向生态级的系统设计跃迁。