jacob-valdez/synthux-economy-r4-w046

SynthUX计算机使用数据集——经济模拟r4是一个由SynthUX生成的基于视觉的计算机使用轨迹数据集。每个记录代表一个工作者在模拟公司内的设备会话：目标扩展为节点树，终端节点通过低级鼠标和键盘输入驱动真实的桌面模拟器应用程序（包括终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹以屏幕视频和每个节点的帧形式记录。数据集支持应用原生的多应用程序执行（无工作台覆盖），每个参与者的内容多样性，跨操作系统消息传递，以及大规模多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。内容包含data.jsonl文件（每个渲染轨迹一条记录）、screenshots目录（每个终端节点的帧图像）和videos目录（完整屏幕录制视频）。记录模式涵盖轨迹ID、参与者信息、环境、目标、节点树、输入事件、观察结果、对齐信息和媒体引用。统计显示本版本包含36个轨迹、952帧、6家公司，环境分布为browser-os（16）、macos-web-next（12）和windows-web-next（8）。数据来源为SynthUX生成，观察结果是因果性的（使用低级输入通道）。Grounded visual computer-use trajectories generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. App-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo.

搜集汇总

数据集介绍

构建方式

该数据集通过SynthUX框架生成，模拟了一家虚拟公司中多位员工的设备操作轨迹。每条记录对应一位工作者在模拟公司内的会话，从自然语言目标出发，扩展为节点树，末端节点通过底层的鼠标和键盘输入驱动真实的桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、电子表格等）。最终，观察到的操作轨迹以屏幕视频和节点帧的形式被记录。数据集的构建依赖因果模拟机制，仅通过低级输入引发状态变化，未使用高级应用级别的操作。

特点

数据集的特点在于其原生多应用执行能力，不依赖工作台覆盖层，每个参与者具有内容多样性，支持跨操作系统消息传递，并构建了大规模的多公司经济模拟环境。每个经济模拟结果独立发布为一个数据集仓库。本版本包含36条轨迹、952帧画面、6家模拟公司，覆盖macOS、Windows和浏览器三种操作系统环境，轨迹数据包含密集的低级输入事件和因果模拟状态。

使用方法

数据采用JSONL格式存储核心记录，每条记录包含轨迹ID、参与者信息、公司角色、目标描述、节点树、低级输入事件序列等字段。屏幕截图以PNG格式按轨迹和节点ID组织，视频以WebM格式保存完整录制内容。用户可通过加载JSONL文件结合图像与视频数据进行轨迹分析与模型训练，适用于构建或评估计算机使用代理系统的任务，如目标驱动的桌面操作理解与复现。

背景与挑战

背景概述

SynthUX Computer-Use (economy sim) 数据集由 SynthUX 团队于近期发布，旨在模拟多公司、多应用协同环境下的计算机使用行为轨迹。该数据集聚焦于图形用户界面（GUI）代理的研究，通过模拟真实办公场景中员工执行复杂任务的过程，生成包含低层级鼠标键盘操作、屏幕视频及逐节点帧的完整轨迹。其核心研究问题在于如何构建具备跨应用、跨操作系统通信能力的自主代理，以应对动态、多任务的企业级工作流。作为合成数据领域的创新成果，SynthUX 在推动 GUI 代理从单一应用操作向多应用协同决策演进方面具有重要影响力，为复杂人机交互系统的评估提供了标准化基准。

当前挑战

数据集面临的主要挑战包括：1) 领域问题层面，现有 GUI 代理研究多局限于单一应用或静态环境，难以适应真实业务中多应用切换、跨平台消息传递及角色职责动态分配的需求，亟需覆盖企业级经济模拟的通用评估框架；2) 构建过程中，需解决低层级操作（鼠标/键盘事件）与高层级语义目标（如“完成季度报告”）之间的对齐难题，同时确保合成轨迹的因果一致性（仅通过低层级输入驱动状态变更，避免高层级 API 污染）。此外，多公司、多角色的内容多样性生成与仿真环境（macOS/Windows/Browser）的跨平台兼容性也构成显著技术障碍。

常用场景

经典使用场景

在计算机视觉与智能体研究的交汇处，SynthUX Economy模拟数据集为多应用GUI智能体的行为训练与评估提供了高度生态效度的实验平台。该数据集通过记录模拟公司内不同角色的完整设备会话过程，包含屏幕视频、细粒度鼠标键盘事件及节点级帧序列，使得研究者能够以端到端的方式复现和解析智能体在复杂多窗口环境下的决策路径。经典的使用场景包括训练基于视觉的GUI操作模型，使其学会理解自然语言目标并将其转化为跨应用（如终端、浏览器、邮件、办公套件）的低层级交互动作，同时支持对智能体轨迹对齐与因果推理能力的严格评测。

实际应用

在实际产业环境中，该数据集可作为构建企业级数字助理与机器人流程自动化（RPA）系统的核心训练资源。例如，支持开发能够根据自然语言指令在办公场景中自动完成数据录入、跨应用文档编辑、会议安排与报表生成等复杂任务的智能助手。数据集中包含的跨公司、多角色会话记录，使得模型能够适应不同组织结构与沟通协议下的操作规范，从而为金融、客服、远程办公等领域的自动化解决方案提供可复现的建模基础，降低人工干预成本并提升业务流程的执行一致性与效率。

衍生相关工作

围绕SynthUX Economy模拟数据集，已衍生出一系列前沿研究方向的探索工作。相关经典工作包括基于状态因果链的GUI操作动作分割方法，利用数据集中的对齐标签解耦视频中的非原子操作；面向视觉-语言联合预训练的跨应用锚点检测任务，从密集帧中定位关键操作节点；以及多智能体协作模拟的基准测试框架，通过复用数据集中的公司拓扑结构生成多角色协同的轨迹组合。这些衍生工作共同构建了一个从单一agent操作学习到组织级工作流分析的研究生态，持续拓展着数据集在复杂人机交互理解中的学术价值。