jacob-valdez/synthux-economy-r5-w051

SynthUX计算机使用数据集（经济模拟r5）是一个基于视觉的计算机使用轨迹数据集，由SynthUX生成。每个记录代表一个工人在模拟公司中的设备会话：目标扩展为节点树，终端节点通过低级鼠标和键盘输入驱动真实桌面模拟器应用（包括终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频以及每个节点的帧。该数据集支持应用原生多应用程序执行（无工作台覆盖），具有每参与者内容多样性、跨操作系统消息传递和大规模多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。The SynthUX Computer Usage Dataset (Economic Simulation r5) is a vision-based computer usage trajectory dataset generated by SynthUX. Each record represents a device session of a worker in a simulated company: Targets are expanded into a node tree, and terminal nodes drive real desktop emulator applications (including Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Spreadsheets, Slides, etc.) via low-level mouse and keyboard inputs. Observed trajectories are recorded as screen videos and frames for each node. This dataset supports natively multi-application execution (no workspace overlay), and features participant-specific content diversity, cross-operating system messaging, and large-scale multi-company economic simulations. Each economic simulation is released as an independent dataset repository.

搜集汇总

数据集介绍

构建方式

该数据集由SynthUX框架生成，模拟了多公司经济环境中的计算机使用轨迹。每个数据记录对应一个模拟公司内员工的设备操作会话，通过将自然语言目标逐步分解为节点树，最终在真实的桌面模拟器应用（如终端、笔记、代码编辑器、浏览器、通讯软件、表格处理等）中执行低层级鼠标与键盘输入，完整记录操作轨迹并以屏幕视频及逐节点帧图像的形式存储。

特点

数据集具备原生多应用执行能力，不依赖工作台覆盖层，确保了操作的真实性与细粒度。每节点帧捕获自终端节点的最后一次输入事件，配合密集的低层级输入事件序列及因果观测状态，实现了操作路径的精确对齐。此外，数据涵盖跨操作系统消息交互与多公司经济环境，提供了丰富的角色与场景多样性。

使用方法

数据集以JSON Lines格式存储，每行包含一次渲染轨迹的所有字段，包括轨迹唯一标识、用户角色信息、自然语言目标、节点树结构、输入事件时间序列及媒体文件引用。用户可通过加载'data.jsonl'文件访问完整数据，利用'trajectory.input_events'和'trajectory.observations'进行精细行为分析，或通过'screenshots/'与'videos/'目录下的图像与视频文件进行视觉特征提取与模型训练。

背景与挑战

背景概述

SynthUX经济模拟数据集（synthux-economy-r5-w051）由SynthUX研究团队于2023年创建，旨在为图形用户界面代理（GUI agents）提供高保真、多应用交互的视觉轨迹数据。该数据集聚焦于模拟企业环境中虚拟员工的桌面操作流程，涵盖终端、笔记、代码编辑器、浏览器、即时通讯及办公套件等十余种原生应用，通过低层级鼠标与键盘事件驱动任务执行。其核心研究问题在于如何构建跨操作系统、多公司业务场景下可复现的交互数据集，以推动计算机使用（computer-use）领域的智能体发展。作为首个大规模模拟经济体系中的GUI行为数据集，它为视觉感知与行动规划的联合建模提供了基准，显著提升了代理在复杂多步骤任务中的泛化能力。

当前挑战

该数据集面临三重核心挑战：首先，领域问题聚焦于GUI代理在动态、多应用环境中的零样本适应能力，现有模型常因界面布局变异或跨应用上下文中断而失效，需解决视觉状态与操作语义的精准对齐难题；其次，构建过程中需应对模拟经济体系内多公司、多角色的内容多样性（如36条轨迹跨越6家公司），如何确保每个虚拟员工的交互行为兼具任务达成性与环境真实性，避免数据偏差；再者，技术实现上需在macOS与Windows仿真环境中同步记录847帧屏幕截图及36段视频，同时维持低层级输入事件与高层级目标间的因果一致性，这要求高效的异步采集架构与存储策略。

常用场景

经典使用场景

SynthUX Economy R5 W051 数据集专注于多应用协同的图形用户界面（GUI）代理研究，其核心使用场景在于模拟真实企业环境中员工通过跨应用操作完成复杂任务的过程。该数据集提供了丰富的多模态轨迹数据，包括屏幕录制视频、逐节点截图以及底层鼠标键盘输入事件序列，特别适用于训练和评估能够自主完成跨应用程序工作流（如同时操作终端、浏览器、邮件和即时通讯工具）的智能GUI代理。由于数据生成于模拟的多公司经济体系中，每个轨迹都带有明确的角色、目标和公司上下文，使得该数据集成为研究任务驱动型人机交互的理想基准。

解决学术问题

该数据集有效解决了当前GUI代理研究中普遍存在的两个关键问题：一是缺乏大规模、细粒度的多应用协同操作数据，二是难以在可控环境中生成带有明确组织背景和任务目标的执行轨迹。通过提供完整的因果状态记录和对齐信息，SynthUX Economy R5 W051 使得研究者能够深入分析代理在复杂多步骤任务中的决策过程，以及底层输入与高层语义动作之间的映射关系。它的出现推动了从单一应用命令执行到跨应用、多目标场景下智能体规划与推理能力的学术探索，为构建更具鲁棒性和通用性的计算机使用代理提供了坚实的数据基础。

衍生相关工作

基于SynthUX Economy R5 W051数据集的独特结构，该领域已经衍生出一系列代表性的研究工作。其中，最核心的方向包括利用因果状态对齐信息开发基于中间表示（如节点树）的分层任务规划算法，以及利用多平台（macOS、Windows、浏览器）轨迹数据训练具备跨操作系统迁移能力的GUI策略网络。此外，该数据集也被用于构建面向多公司经济模拟场景的角色扮演式代理，探讨不同组织角色对任务执行策略的影响。这些工作不仅验证了数据集的科学价值，也为其在更广泛的交互式人工智能评测体系中的角色奠定了理论基础。