jacob-valdez/synthux-economy-r4-w036

SynthUX计算机使用数据集（经济模拟版本r4）是一个由SynthUX生成的基于视觉的计算机使用轨迹数据集，模拟了公司环境中的工作会话。每个记录代表一个工作人员在模拟公司设备会话中的轨迹，其中目标被扩展为节点树，终端节点通过低级鼠标和键盘输入驱动真实的桌面模拟器应用程序（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频以及每个节点的帧。该数据集支持应用程序原生的多应用程序执行（无工作台覆盖），具有每个参与者的内容多样性、跨操作系统消息传递和大型多公司经济模拟。每个经济模拟作为独立的数据集存储库发布。数据集包含数据文件、截图和视频，记录了轨迹ID、参与者信息、环境、目标、节点树、输入事件、观察结果、对齐信息以及媒体文件等。SynthUX Computer-Use Dataset — economy sim r4 is a dataset of grounded visual computer-use trajectories generated by SynthUX. Each record represents one workers device session inside a simulated company, where a goal expands into a node tree, terminal nodes drive real desktop-simulator applications (such as Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, etc.) through low-level mouse and keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. It features app-native multi-application execution without a workbench overlay, per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repository, containing data files, screenshots, and videos that document trajectory ID, actor information, environment, goal, node tree, input events, observations, alignment, and media files.

搜集汇总

数据集介绍

构建方式

该数据集源于SynthUX框架，旨在模拟虚拟企业环境中的图形用户界面操作轨迹。通过为每位工作者设定自然语言目标，该目标被递归展开为一棵动作节点树，其中终端节点驱动真实的桌面模拟应用程序（如终端、笔记、代码编辑器、浏览器、即时通讯软件、办公套件等），以底层鼠标与键盘输入的形式执行具体操作。整个设备会话过程被完整记录，生成屏幕视频与逐帧截图，最终以JSON Lines格式存储每条轨迹的结构化元数据、输入事件序列与因果观测状态。

特点

SynthUX-Economy-R4-W036数据集突出展现了跨应用的原生多应用执行能力，摒弃了工作台覆盖层的干扰，保证了视觉与操作的真实性。每位参与者拥有独立的角色、公司与职位，确保了内容的多样性。数据涵盖macOS、Windows与纯浏览器三种操作系统环境，并构建了包含多家公司的大规模经济模拟生态。每条轨迹均包含密集的低层级输入事件、因果关系对齐的观测状态，以及完整的屏幕录像和逐帧截图，为研究计算机关联行为提供了高度细粒度的素材。

使用方法

该数据集主要面向图形用户界面代理训练与评估场景。研究者可直接加载data.jsonl文件，通过trajectory_id索引对应轨迹，从screenshots目录获取各终端节点的逐帧截图，或从videos目录调用完整屏幕录像。利用trajectory.input_events字段中的带时间戳的鼠标、键盘与脚本事件，可复现或分析每一步操作；trajectory.observations提供了因果模拟器状态，而trajectory.alignment则将观测与输入事件范围关联至特定节点。这些内容适用于构建推理模型、评估代理的视觉定位与操作能力，或进行多应用办公工作流的自动化研究。

背景与挑战

背景概述

SynthUX Computer-Use 数据集于2025年推出，由研究团队利用 SynthUX 框架构建，专注于模拟多应用桌面环境中的计算机使用轨迹。该数据集的核心研究问题在于如何通过合成数据生成具有接地视觉的计算机操作序列，以支持图形用户界面代理的研究。数据集包含来自6个模拟公司、36条轨迹的详细记录，涵盖终端、浏览器、代码编辑器等多种应用程序，通过低层级鼠标和键盘输入驱动，显著提升了多应用交互场景的复杂性和真实性，为智能代理在数字办公环境中的行为建模提供了关键资源。

当前挑战

该数据集面临的核心挑战在于解决多应用经济模拟的领域问题，即如何生成高度真实且多样的计算机使用轨迹以训练可靠的界面代理，这要求数据覆盖不同操作系统、跨应用消息传递及多角色上下文，传统单应用或模拟方法难以达到。构建过程中，挑战包括设计可扩展的节点树结构以自然分解复杂目标、确保低层级输入事件与观察状态间的因果一致性、以及在多公司环境中维持内容多样性，同时避免人工标注偏差和模拟器的性能瓶颈。

常用场景

经典使用场景

在经济模拟与多应用人机交互领域，SynthUX Economy R4 W036 数据集为研究者提供了宝贵的资源，其核心使用场景聚焦于训练和评估能够跨多款桌面应用程序完成复杂经济任务的图形用户界面智能体。该数据集中的每条记录都源自模拟公司内一位员工的真实操作会话，涵盖终端、笔记、代码编辑器、浏览器、即时通讯、邮件、电子表格及幻灯片等多种应用环境，通过低层级鼠标与键盘交互录制的轨迹，为构建具备跨应用协作与任务分解能力的计算机使用智能体奠定了坚实基础。

解决学术问题

该数据集针对性地解决了一系列学术研究中的核心难题，包括如何在多应用、多企业的复杂经济背景下，实现高保真度的图形用户界面任务规划与执行。它首次系统性地提供了大规模、多智能体经济模拟中记录的自然语言目标分解与终端节点执行的联合轨迹，有效填补了现有数据集在跨操作系统、跨组织消息传递及内容多样性方面的空白。这一开创性工作显著推动了智能体在动态、多窗口环境下的状态理解、意图对齐与低层级控制能力的研究，为探索人机交互中因果观测与执行策略的耦合关系提供了坚实的数据支持。

衍生相关工作

该数据集的诞生催生了一系列富有影响力的衍生工作。基于其提供的多应用、多企业经济模拟框架，研究者们进一步提出了诸如跨平台指令泛化、动态目标分解树优化以及基于因果观测的轨迹对齐方法等关键创新。经典工作如通过该数据集训练的智能体在未见过的应用组合与操作系统上展示了显著的零样本迁移能力，同时促进了关于屏幕视频与低级输入事件联合建模的研究分支。这些衍生工作不仅深化了对计算机使用智能体行为鲁棒性与泛化性的理解，也为后续构建具备经济推理与多轮协作能力的下一代图形用户界面代理树立了重要的基准与参考范式。