jacob-valdez/synthux-economy-r5-w063

SynthUX计算机使用数据集 — 经济模拟r5是一个基于SynthUX生成的视觉计算机使用轨迹数据集。每个记录代表一个工人在模拟公司内的设备会话：目标扩展为节点树，终端节点通过低级鼠标/键盘输入驱动真实桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频和每节点帧。数据集支持应用原生多应用执行（无工作台覆盖）、每个参与者的内容多样性、跨操作系统消息传递以及大规模多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。SynthUX Computer-Use Dataset — economy sim r5 is a grounded visual computer-use trajectories dataset generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. It features app-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo.

搜集汇总

数据集介绍

构建方式

该数据集名为SynthUX Computer-Use (economy sim r5)，由SynthUX系统生成，旨在模拟企业内部环境中的图形界面计算机使用轨迹。构建方式基于多智能体经济仿真框架：每位员工在一个虚拟公司内拥有独立的设备会话，其自然语言目标被逐步分解为一棵节点树，终端节点通过低层级的鼠标与键盘操作驱动真实的桌面模拟应用，包括终端、笔记、代码编辑器、浏览器、即时通讯、邮件、表格和演示文稿等。整个操作轨迹以屏幕视频和节点帧的形式被完整记录，确保数据来源的因果性与高保真度，无需借助工作台叠加层，实现了应用原生多应用执行。

特点

该数据集的显著特点在于其多公司经济仿真环境下的内容多样性与生态规模。数据来自6家虚拟公司，涵盖36条轨迹，共879帧截图与36段完整屏幕录制视频，横跨macOS、Windows及浏览器三种操作系统环境。每个记录包含丰富元信息，如角色身份、职位标题、公司归属，以及细粒度输入事件与因果状态观测。通过跨操作系统的消息传递机制与多应用协同操作，数据集呈现了高度真实的计算机交互行为，为开发图形界面代理提供了宝贵的视觉与行为训练素材。

使用方法

用户可通过加载根目录下的data.jsonl文件获取每条轨迹的结构化数据，包含目标描述、节点树、输入事件序列及对齐信息。轨迹ID由员工标识与环境类型构成，便于按公司、角色或操作系统环境进行筛选。屏幕截图按轨迹与节点ID存储在screenshots目录下，对应每个终端节点的最后一次输入事件时刻，而完整屏幕录制视频以webm格式存放于videos目录。研究人员可结合节点帧与事件时间戳进行视觉-动作对齐分析，或利用多公司多角色分布评估代理模型的跨域泛化能力。

背景与挑战

背景概述

SynthUX Computer-Use (economy sim) 数据集由 SynthUX 项目团队于近期创建，专注于模拟多公司、多应用协同的计算机使用场景。该数据集通过生成式方法，在虚拟企业环境中记录用户执行自然语言目标时的完整桌面操作轨迹，包含屏幕视频、关键帧和低层级输入事件。其核心研究问题在于为 GUI 代理提供真实、多样化且可扩展的视觉计算环境数据，以推动人机交互与自动化领域的发展。该数据集填补了多应用、跨操作系统、多角色经济模拟场景下计算机使用轨迹数据的空白，对增强 GUI 代理的泛化能力和生态适应性具有重要影响力。

当前挑战

该数据集面临的挑战主要体现在两个方面。领域问题方面，现有 GUI 代理往往局限于单一应用或固定环境，难以适应跨应用、跨平台的多步任务，SynthUX 通过引入多公司经济模拟和多样化任务目标，旨在解决代理在复杂、动态计算环境中的鲁棒性与适应性不足。构建过程方面，生成高保真的低层级输入事件与因果模拟状态需要精确的轨迹对齐和场景渲染，同时确保不同操作系统（如 macOS、Windows、浏览器）上的行为一致性；此外，多角色、多公司的内容多样性要求严格避免数据同质化，且大规模经济模拟下的数据采集与标注工作极具挑战。

常用场景

经典使用场景

在计算机视觉与智能体交互的交叉领域中，SynthUX Economy模拟数据集为研究者提供了一种前所未有的精细粒度人机交互轨迹资源。该数据集通过模拟企业环境中的多应用协同工作流，记录了36条包含完整屏幕视频、逐节点截图及底层鼠标键盘事件序列的交互轨迹。其经典使用场景在于构建和评估能够理解复杂图形用户界面的视觉语言模型，尤其是那些需要跨应用程序（如终端、文本编辑器、浏览器、即时通讯工具和电子表格）执行多步骤任务的智能体系统。数据集中每个轨迹都源自模拟员工在虚拟公司中的自然语言目标分解，终端节点直接驱动真实桌面模拟器应用，使得研究者能够基于低维度的输入事件和高维度的视觉帧来训练模型，使其掌握从观察屏幕状态到执行精确交互操作的完整映射能力。

衍生相关工作

SynthUX Economy数据集的发布催生了一系列侧重于多应用GUI智能体认知架构的前沿工作。研究者以此为基础，开发了能够从屏幕录像中自动提取节点级任务分解的监督学习模型，其核心思路是将数据集中的目标-节点树结构与底层输入事件对齐，从而训练出具备层次化规划能力的视觉Transformer。另一些工作则聚焦于利用该数据集的跨公司、多角色特性，构建基于多智能体强化学习的协作系统，模拟不同部门员工通过共享界面状态完成共同目标的过程，这对理解协议协商与资源共享机制具有重要启示。此外，数据集提供的因果观测关系激发了关于可解释交互行为生成的研究，即通过分析每个节点前后的状态变化，推断模型在特定UI元素上的决策逻辑，进而推动更透明、更可控的自动化智能体设计范式。

数据集最近研究

最新研究方向

SynthUX经济模拟数据集聚焦于多代理、多应用协同的图形用户界面（GUI）智能体研究前沿。通过模拟跨操作系统、跨公司的真实办公场景，该数据集记录了合成智能体在终端、浏览器、邮件等应用间的完整操作轨迹与屏幕视频，为探究GUI智能体的长程任务规划、跨应用上下文切换及多主体协作行为提供了高保真基准。其模拟经济生态的设计呼应了当前行业对可扩展、可复现的合成训练数据的需求，尤其在金融科技、企业自动化等复杂人机交互领域，该数据集有望推动智能体从单一工具操作向理解组织级工作流的范式跃迁，成为评估下一代自主办公助手的关键资源。