jacob-valdez/synthux-economy-r5-w024

SynthUX计算机使用数据集—经济模拟r5是一个由SynthUX生成的基于视觉的计算机使用轨迹数据集。每个记录代表一个工人在模拟公司内的设备会话：目标扩展为节点树，终端节点通过低级鼠标/键盘输入驱动真实桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、Sheets、Slides等），观察到的轨迹被记录为屏幕视频和每节点帧。数据集支持应用原生的多应用执行（无工作台覆盖），具有每参与者内容多样性、跨操作系统消息传递和大型多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。SynthUX Computer-Use Dataset — economy sim r5 is a grounded visual computer-use trajectories dataset generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. It features app-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo.

搜集汇总

数据集介绍

构建方式

该数据集源自SynthUX框架，通过模拟公司内员工的设备会话生成 grounded visual computer-use 轨迹。每个记录对应一名工作者在模拟公司中的操作过程，从自然语言目标出发，扩展为节点树结构，终端节点驱动模拟器应用（如终端、浏览器、编辑器等）执行低层级的鼠标与键盘输入。整个过程不依赖工作台覆盖层，而是通过应用原生多应用执行方式产生真实轨迹。每个仿真内的轨迹被录制为屏幕视频，并为每个终端节点保存一帧截图，最终以JSON行格式组织，包含轨迹ID、所属公司、角色、操作系统环境及完整的输入事件与观察状态。

特点

本数据集突出应用原生多应用执行能力，具备每参与者内容多样性、跨操作系统消息通信以及大规模多公司经济模拟特征。每条轨迹包含密集的低层级输入事件（鼠标、键盘、脚本）及其时间戳，并关联到因果模拟器状态，确保过程可追溯。数据覆盖macOS、Windows及浏览器三种环境，共36条轨迹、1169帧截图、跨越6家公司。其独特的节点对齐机制将观察与输入事件范围链接至节点ID，为细粒度的GUI代理行为分析提供坚实基础。

使用方法

数据集以JSONL格式存储核心记录，可直接通过Python的json模块逐行加载。每个轨迹对应的屏幕视频存放于videos目录下（WebM格式），每节点帧位于screenshots/<trajectory>/目录中。用户可依据trajectory_id、env（环境类型）或company等字段进行筛选。通过解析tree.nodes可获取终端节点的表面、动作、目标与参数；利用trajectory.input_events与trajectory.observations可重建完整操作序列。对于GUI代理研究，该数据适合用于训练与评估基于视觉的计算机操作模型，复现或扩展多应用场景下的智能体行为。

背景与挑战

背景概述

SynthUX Economy R5 W024数据集由研究团队于2024年创建，专注于合成用户界面（GUI）智能体在模拟企业环境中的桌面交互轨迹。该数据集通过SynthUX生成框架，模拟多公司经济体系中的工作人员设备会话，将自然语言目标分解为节点树，并通过低层级鼠标和键盘操作驱动真实桌面模拟器应用（如终端、编辑器、浏览器、通讯软件等），最终以屏幕视频和逐帧图像形式记录完整操作过程。核心研究问题聚焦于如何生成具有应用原生多应用执行能力、跨内容多样性和跨操作系统通信的视觉化计算机使用轨迹，以推动GUI智能体在复杂多应用场景下的决策与执行能力评估。该数据集在自主智能体、人机交互和软件自动化领域具有重要影响力，为训练和测试基于视觉的计算机操作智能体提供了高保真、可复现的仿真环境，弥补了真实企业级多应用交互数据稀缺的不足。

当前挑战

当前数据集面临的主要挑战包括：其一，在领域问题层面，GUI智能体需要在真实桌面环境中协调多个原生应用完成复杂任务，现有数据集多聚焦于单应用或简化场景，难以覆盖跨应用消息传递、多窗口管理和企业级工作流等实际需求，SynthUX虽模拟了多公司经济体系，但轨迹数量有限（仅36条），场景多样性和规模仍有待扩展；其二，构建过程中，生成高保真桌面交互数据需解决因果观察记录与低层级输入事件间的对齐问题，确保屏幕录制、帧图像与用户操作节点的精确关联，同时模拟不同操作系统（macOS、Windows、浏览器）的界面差异和输入兼容性，以及对多角色、多公司间交互逻辑的合理建模，均对数据生成框架的鲁棒性和真实性构成挑战。

常用场景

经典使用场景

在计算社会学与新兴人机协作系统研究领域，SynthUX Economy R5 W024数据集为探究多代理、多应用环境下的计算机使用行为提供了前所未有的微观数据支撑。其最经典的使用场景在于构建和评估能够理解并执行复杂、多步骤、跨应用工作流的图形用户界面（GUI）代理模型。研究人员可直接利用数据集中完整的屏幕录制、低层级鼠标键盘事件流以及因果对齐的节点树信息，训练模型从视觉与操作两个模态学习如何在不依赖元数据的前提下，自主将抽象的自然语言目标（如‘准备跨部门财务报告’）分解为具体的鼠标点击、文本输入等操作序列，从而模拟真实人类员工在模拟公司中的工作模式。

解决学术问题

该数据集系统地解决了长期困扰GUI智能体研究的两大核心学术难题：复杂多应用场景下的任务分解与因果状态追踪。传统数据集多局限于单一应用内的原子操作，而SynthUX通过构建多公司、多角色、多操作系统（macOS、Windows、浏览器）的经济模拟环境，迫使模型必须习得跨应用通信（如从邮件中提取数据后通过Slack协作更新电子表格）的高层规划能力。数据集中每一条轨迹都包含节点树与低层事件的因果对齐，这为研究‘目标-动作-状态’之间的动态推演关系提供了黄金标准，使得学者能够量化评估模型策略的语义准确性与环境鲁棒性，推动了可解释、可干预的自主GUI代理从实验室走向真实部署。

衍生相关工作

该数据集已催生一系列衍生性经典工作，尤其是在多代理协作规划（Multi-agent Planning）与视觉语言模型（VLM）微调领域。研究者基于SynthUX的‘公司-角色’层级结构，构建了具有角色意识的经济模拟框架，探索代理间如何通过共享备忘录和即时消息进行协同任务分配。在模型架构层面，数据集的逐帧屏幕截图与动作事件对已被用作预先训练视觉Transformer，使其具备在陌生GUI界面上定位关键元素的能力。此外，轨迹中的跨应用操作模式被提炼为高层语义动作原语库，这些原语被直接应用于后续的少样本学习测试中，显著降低了新任务对大规模标注数据的依赖，形成了从数据生成到模型评估的完整学术闭环。