jacob-valdez/synthux-economy-r3-w009

SynthUX计算机使用数据集——经济模拟r3，包含由SynthUX生成的接地视觉计算机使用轨迹。每个记录代表一个工人在模拟公司内的设备会话：一个目标扩展为节点树，终端节点通过低级鼠标/键盘输入驱动真实桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频加上每节点帧。该数据集支持应用原生多应用执行（无工作台覆盖）、每参与者内容多样性、跨操作系统消息传递和大规模多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。SynthUX Computer-Use Dataset — economy sim r3. Grounded visual computer-use trajectories generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. App-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo.

搜集汇总

数据集介绍

构建方式

本数据集源自SynthUX系统，旨在模拟真实计算机使用场景下的人工智能代理行为。构建过程中，每位工作者在模拟公司内部发起一个自然语言目标，该目标被逐层展开为一棵节点树，终端节点驱动一系列桌面模拟器应用（如终端、笔记、代码编辑器、浏览器、即时通讯、邮件、表格处理等），通过低层次的鼠标与键盘操作执行具体任务。整个操作轨迹被忠实记录为屏幕视频与逐节点帧图像。数据生成采用因果观测机制，仅记录低层次输入事件所引发的状态变化，不借助高层次应用的直接干预。

特点

该数据集最显著的特色在于其原生多应用协同执行能力，摒弃了工作台叠加层的干扰，真实再现了跨操作系统消息传递与多公司经济体系下的代理行为。每条轨迹包含丰富的结构化信息：自然语言目标、节点树结构、密集的低层次输入事件序列、因果化的环境状态快照，以及完整的屏幕录像。当前版本包含36条轨迹、1165个帧图像，覆盖6家模拟公司，横跨macOS、Windows及纯浏览器三种操作系统环境。

使用方法

数据集以JSON Lines格式存储于`data.jsonl`文件中，每条记录对应一条渲染轨迹，字段涵盖轨迹标识、角色信息、目标文本、节点树与输入事件等。配套的截图与视频资源分别存放于`screenshots/`与`videos/`目录下，便于研究者对齐视觉证据与结构化描述。用户可通过加载JSON文件解析轨迹结构，利用帧图像与视频回放验证代理行为，或基于节点事件序列训练图形用户界面操作模型。数据采用Apache-2.0许可证开放使用。

背景与挑战

背景概述

SynthUX-Economy-R3-W009数据集由SynthUX团队于近期构建，聚焦于计算机使用（Computer-Use）场景下的图形用户界面（GUI）智能体研究。该数据集通过模拟多公司经济环境，生成了36条包含屏幕视频、逐节点帧图及低级鼠标键盘事件的轨迹，每条轨迹对应一个虚拟员工在模拟公司中的设备会话。数据覆盖macOS、Windows及浏览器三种操作系统环境，涉及终端、笔记、代码编辑器、浏览器、即时通讯、邮件、表格和幻灯片等多应用协同操作。其核心贡献在于提供了原生多应用执行（非工作台叠加）的跨操作系统交互数据，支持多演员内容多样性与大规模多公司经济模拟，为GUI智能体在真实办公场景中的泛化性、鲁棒性研究奠定了数据基础，对智能体自主操作、人机协作及企业自动化领域具有重要推动意义。

当前挑战

该数据集所应对的核心领域挑战在于构建能够在多应用、多操作系统环境下自主完成复杂目标的GUI智能体，现有数据集多局限于单一应用或固定工作台，缺乏对跨应用、跨设备、多用户协同场景的支持。构建过程中面临的核心挑战包括：一是多公司经济环境的真实性与可扩展性平衡，需在36条轨迹中嵌入6家公司的差异化角色与业务流程，同时确保数据生成的自动化效率；二是低层级控制信号的精准同步，需在模拟器中精确记录鼠标键盘事件与屏幕状态的时间对齐，避免因异步操作引入噪声；三是数据隐私与复现性约束，如何在生成合成数据时去除真实用户痕迹，同时保留任务目标的语义多样性，是保证数据集实用性的关键瓶颈。

常用场景

经典使用场景

SynthUX经济仿真数据集（synthux-economy-r3-w009）为多应用图形用户界面代理研究提供了高保真的视觉计算机操作轨迹。该数据集记录了模拟公司中数十名员工在真实桌面环境下的完整操作过程，涵盖了终端、笔记、代码编辑器、浏览器、即时通讯、邮件、电子表格和演示文稿等多款应用。每条轨迹包含自然语言目标、细粒度的鼠标与键盘输入事件序列、因果模拟器状态以及全屏屏幕录像与逐节点截图。这一精心设计的结构使得研究者能够在复杂多应用场景中训练和评估GUI代理的规划、推理与执行能力，为构建真正能够理解并操作图形界面的智能体奠定了坚实的数据基础。

解决学术问题

该数据集深刻回应了当前多模态智能体研究中一个亟待解决的学术难题：如何在大规模、多应用协同的环境下获得真实、细粒度且因果一致的计算机操作数据。传统单应用仿真数据集难以反映现实世界中多应用并发、信息跨应用流转的复杂性，而SynthUX经济仿真数据集通过模拟多公司经济体的日常运作，提供了包含跨组织通讯、多任务切换和临场决策的丰富轨迹。这些数据使研究者得以探索GUI代理的长期规划、子目标分解、视觉定位与低层次控制的联合优化，以及对操作因果关系的建模，从而推动智能体从静态指令执行向动态环境适应与协同工作的高级能力演化。

衍生相关工作

围绕SynthUX经济仿真数据集，已衍生出一系列重要的研究工作，主要集中在多应用GUI代理训练方法、因果操作建模与仿真环境构建三个方向。研究者利用该数据集探索了基于视觉语言模型的分层决策架构，将高层语义规划与低层次界面控制分离，并验证了其在跨应用任务上的泛化能力。同时，数据集中蕴含的因果操作关系推动了潜在动作空间建模与逆动态预测模型的进展，使代理能够从观测中推断操作的意图与后果。此外，该数据集的发布还催生了更逼真、更复杂的多公司经济仿真环境，推动了GUI代理从单任务到多任务、从封闭到开放场景的评估范式演进。