jacob-valdez/synthux-economy-r3-w039

SynthUX计算机使用数据集（经济模拟r3）是一个基于视觉的计算机使用轨迹数据集，由SynthUX生成。每个记录代表一个工作者在模拟公司设备会话中的轨迹：目标扩展为节点树，终端节点通过低级别鼠标和键盘输入驱动真实的桌面模拟器应用程序（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频以及每个节点的帧。数据集支持应用程序原生的多应用程序执行（无工作台覆盖），每个演员的内容多样性、跨操作系统消息传递和大型多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。内容包括data.jsonl（每个渲染轨迹的记录）、screenshots（每个终端节点的帧，在节点最后一个输入事件时拍摄）和videos（完整的屏幕录制）。记录模式包括轨迹ID、演员ID、公司、角色ID、标题、环境、目标、节点树、输入事件、观察结果、对齐和媒体。统计信息显示有36个轨迹、983帧、6个公司，环境分布为browser-os（6）、macos-web-next（19）和windows-web-next（11）。数据集使用SynthUX生成，观察结果是因果的（突变通道为低级别输入），在捕获过程中未使用高级别应用程序突变。The SynthUX Computer-Use Dataset (economy sim r3) is a grounded visual computer-use trajectories dataset generated by SynthUX. Each record represents one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (such as Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, etc.) through low-level mouse and keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. The dataset features app-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repository. Contents include data.jsonl (one record per rendered trajectory), screenshots (a frame per terminal node, taken at that nodes last input event), and videos (the full screen recording). The record schema includes trajectory_id, actor_id, company, role_id, title, env, goal, tree.nodes, trajectory.input_events, trajectory.observations, trajectory.alignment, media.video, and media.frames. Statistics for this build show 36 trajectories, 983 frames, 6 companies, with environment distribution: browser-os (6), macos-web-next (19), windows-web-next (11). The dataset is generated with SynthUX, and observations are causal (mutation channel = low_level_input); no high-level app mutation is used during capture.

搜集汇总

数据集介绍

构建方式

本数据集由SynthUX框架生成，专注于模拟计算机使用场景下的图形用户界面代理行为。其构建方式基于多公司经济模拟环境：每个记录对应一名虚拟员工在模拟公司内的设备会话。用户目标被扩展为节点树，终端节点驱动真实桌面模拟器应用（如终端、笔记、代码编辑器、浏览器、通讯工具、邮件、表格、幻灯片等），通过底层鼠标与键盘输入执行任务，并记录完整的屏幕视频及每个节点的帧图像。每条轨迹均包含密集的低级输入事件与因果模拟器状态，确保数据的可追溯性与真实性。

使用方法

本数据集以JSON Lines格式存储，每行包含一个完整轨迹记录，可通过数据加载工具直接读取。屏幕截图按轨迹分文件夹存放，每个终端节点对应一张PNG图像，同时提供全过程的WebM视频文件。研究人员可利用轨迹ID、代理信息、环境类型等字段进行筛选与检索，结合输入事件、节点树与对齐信息，分析代理的决策过程与操作序列。适用于训练与评估基于视觉的计算机使用代理模型，尤其在多应用与跨组织协作场景中的行为研究。

背景与挑战

背景概述

SynthUX Computer-Use (economy sim) 数据集由 SynthUX 项目于近期创建，旨在为图形用户界面（GUI）代理研究提供大规模、多应用协同的仿真轨迹数据。该数据集模拟了多家公司内员工在真实桌面环境（如 macOS、Windows 及浏览器）中的完整操作流程，涵盖终端、代码编辑器、浏览器、即时通讯、办公套件等多种应用，每个目标被分解为可执行的节点树，并记录从底层鼠标键盘输入到屏幕视频的完整轨迹。作为首个以多公司经济生态为背景的 GUI 轨迹数据集，它为研究多任务、多应用、跨平台协作的自动化智能体提供了独特的基准，推动了计算机使用领域从单一应用向复杂组织场景的拓展。

当前挑战

当前领域面临的核心挑战包括：1）GUI 智能体在跨应用、跨平台场景中的泛化能力不足，传统单应用数据集无法覆盖真实多步骤协作中的状态依赖、应用间数据传递及操作系统差异；2）合成轨迹与真实人类操作之间的分布偏移，尽管采用因果模拟器记录底层输入事件，但生成的轨迹可能缺乏人类操作的随机性与错误恢复模式；3）数据集构建中，如何平衡仿真环境的真实性与数据标注成本，同时确保 36 条轨迹、983 帧样本在 6 个公司角色中的多样性，以避免过拟合到特定模拟参数。

常用场景

经典使用场景

SynthUX Economy R3 W039 数据集为计算机使用智能体（Computer-Use Agent）研究提供了结构化的多应用交互轨迹。经典使用场景聚焦于训练和评估能够在模拟企业环境中执行跨应用任务的GUI智能体，例如在终端、浏览器、代码编辑器、邮件客户端和即时通讯工具之间协调操作，完成诸如财务报表生成、跨部门信息同步或资源调度等复合型目标。每一轨迹均包含低层级鼠标键盘事件流与对应的屏幕视频帧，为从感知到执行的端到端学习提供了完备的监督信号。

解决学术问题

该数据集解决了现有GUI智能体研究中的两大难题：多应用协同执行与真实环境噪声鲁棒性。传统数据集或局限于单一应用，或依赖API级抽象而忽略屏幕感知的真实挑战。SynthUX通过模拟多公司经济系统，提供了跨OS平台（macOS、Windows、浏览器）下的密集交互日志，使研究者能够探索因果推理、任务分解与异常恢复等核心问题。其意义在于首次以可控方式生成规模化、多角色的桌面级交互数据，为构建通用计算机使用能力奠定了实验基础。

实际应用

实际应用层面，该数据集可直接用于开发企业级数字员工助手，例如自动完成报销审批流程、跨系统数据迁移与一致性校验、客户关系管理中的多源信息聚合等场景。基于轨迹数据训练的GUI智能体能够理解屏幕上下文并模拟人类操作，在财务、人力资源、供应链管理等领域替代重复性跨应用操作，显著提升办公自动化效率。此外，其多平台兼容性使其适用于云桌面、远程办公等混合架构下的自动化方案测试。

数据集最近研究

最新研究方向

在当前图形用户界面智能体（GUI Agent）与计算机使用自动化领域，SynthUX Synthetic Economy Simulation 数据集为多应用协同的视觉计算机操作轨迹研究提供了前沿基准。该数据集聚焦于模拟企业环境中跨平台、跨应用的复杂经济任务，通过生成包含终端、浏览器、办公套件等桌面级应用的底层鼠标/键盘输入序列，推动了对长链条、多步骤、多应用交互的鲁棒建模研究。其最新的研究方向在于利用这个包含36条轨迹、6家模拟公司、3种操作系统环境的合成数据，探索GUI智能体在真实应用栈中执行经济模拟时的泛化能力、因果建模与节点对齐策略，尤其关注跨应用状态同步与自然语言指令到低层次操作的精准映射。这一资源为评估和训练能够自主完成多软件协作任务（如跨文档编辑、邮件沟通、数据表格更新）的下一代计算机使用智能体提供了稀缺的可控实验平台，呼应了当前AI领域对可执行、可观测、可复现的计算机交互代理的迫切需求。