jacob-valdez/synthux-economy-r5-w073

SynthUX Computer-Use数据集（economy sim r5）是一个基于视觉的计算机使用轨迹数据集，通过SynthUX生成。每个记录代表一个模拟公司内部员工的设备会话：目标扩展为节点树，终端节点通过低级别鼠标/键盘输入驱动真实桌面模拟器应用（如Terminal、Notes、VS Code、Browser、Slack/Teams、Mail、Sheets、Slides等），观察到的轨迹被记录为屏幕视频和每个节点的帧。数据集支持应用原生多应用程序执行（无工作台覆盖）、每个参与者内容的多样性、跨操作系统消息传递以及大型多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。内容包括data.jsonl（每个渲染轨迹的记录）、screenshots目录（每个终端节点的帧）和videos目录（完整屏幕录制）。记录模式包括轨迹ID、参与者ID、公司、角色、环境、自然语言目标、节点树、输入事件、观察、对齐和媒体引用。该版本包含36个轨迹、969个帧、6家公司，分布在browser-os、macos-web-next和windows-web-next环境中。数据集由SynthUX工具生成，观察基于因果模拟（突变通道为低级别输入），捕获过程中未使用高级别应用突变。SynthUX Computer-Use Dataset (economy sim r5) is a vision-based computer interaction trajectory dataset generated via SynthUX. Each record represents a device session simulating an internal employee workflow for a company: the target goal is expanded into a node tree, where terminal nodes drive real desktop simulator applications (including Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, etc.) through low-level mouse and keyboard inputs. Observed interaction trajectories are recorded as screen videos and frames corresponding to each terminal node. This dataset supports native multi-application execution (without workspace overlay), diverse content per participant, cross-operating system messaging, and large-scale multi-company economic simulations. Each economic simulation is released as an independent dataset repository. The dataset content includes: data.jsonl (records for each rendered trajectory), the screenshots directory (frames for each terminal node), and the videos directory (full screen recordings). The record schema covers trajectory ID, participant ID, company, role, environment, natural language goal, node tree, input events, observations, alignments, and media references. This version contains 36 trajectories, 969 frames, spanning 6 companies across three environments: browser-os, macos-web-next, and windows-web-next. The dataset is generated using the SynthUX tool, with observations derived from causal simulation (using low-level inputs as the mutation channel), and no high-level application mutations were utilized during the capture process.

搜集汇总

数据集介绍

构建方式

该数据集源自SynthUX框架，旨在模拟企业内部多应用协同的计算机使用场景。构建时，每个工作者的设备会话被置于一个模拟的公司环境中：一个自然语言目标被逐步展开为节点树，终端节点通过低层级的鼠标与键盘输入驱动真实桌面模拟器应用（如终端、笔记、代码编辑器、浏览器、即时通讯工具、邮件、电子表格及演示文稿等）。整个过程以屏幕视频及逐节点帧的形式被完整记录，并采用因果模拟机制确保观察结果与输入操作直接关联，避免高层应用变异干扰。

特点

数据集的核心特性在于其原生多应用执行能力，无工作台叠加层的干扰，实现了跨操作系统的真实消息传递与内容多样性。每个经济模拟版本独立发布，本构建包含36条轨迹、969帧画面，覆盖6家模拟公司及三种操作系统环境（浏览器、macOS、Windows）。每条记录详述了工作者所属组织、角色、目标及完整的节点树与输入事件序列，为研究图形用户界面代理的行为模式提供了高保真、多维度且可复现的实验数据。

使用方法

数据集以标准格式提供，主文件data.jsonl包含每条轨迹的元数据与结构化字段，如轨迹标识符、参与者信息、环境类型及密集的输入事件时间序列。配套的screenshots目录按轨迹组织逐节点PNG帧，videos目录提供完整的屏幕录制（WebM格式）。研究者可直接解析JSONL文件提取轨迹详情，或结合视频与帧图像进行视觉行为分析。数据适用于训练和评估能够理解并操作复杂多应用桌面的GUI代理模型。

背景与挑战

背景概述

SynthUX Computer-Use (economy sim r5) 数据集创建于2024年，由专注于图形用户界面（GUI）自主代理研究的团队开发。该数据集聚焦于多应用协同操作的计算机使用轨迹生成，旨在解决自主代理在复杂桌面环境中的视觉导航与操作问题。通过模拟真实公司场景中员工的多应用设备会话，每个目标被展开为节点树，终端节点驱动包括终端、代码编辑器、浏览器及办公套件在内的多款桌面应用，并记录低层级鼠标键盘输入轨迹。该数据集在GUI代理领域具有开创性意义，其提供的原生多应用执行环境与跨操作系统消息传递机制，为研究者探索自主系统在模拟社会中的交互能力奠定了坚实基础。

当前挑战

数据集面临的核心挑战可分为两个层面。在领域问题层面，主要应对GUI自主代理在真实桌面环境中的视觉理解与操作泛化难题，现有模型难以处理多应用间的上下文切换与动态界面变化，数据集的精心设计为训练模型适应复杂跨应用场景提供了基准。在构建过程层面，挑战在于生成高保真且多样化的合成轨迹，需确保每个模拟公司内角色的行为路径与内容多样性，同时维持低层级输入事件与高层语义目标间的因果一致性，避免使用非原生的应用覆盖层以确保轨迹的真实性与可用性。

常用场景

经典使用场景

在计算交互与人工智能交叉领域，SynthUX Economy R5 W073 数据集为训练与评估图形用户界面（GUI）智能体提供了高度仿真的多应用协同工作场景。该数据集通过模拟企业内部员工在真实桌面系统（涵盖终端、笔记、代码编辑器、浏览器、通信软件、邮件及办公套件等）上的多任务操作轨迹，将自然语言目标解构为可执行的节点树，并录制了完整的屏幕视频与帧级截图。研究者可借此训练智能体理解复杂的多步骤GUI操作逻辑，例如跨应用数据检索、消息传递与文档编排，从而推动自主办公助手技术的发展。其六家虚拟公司、36条轨迹与969帧图像的规模，兼顾了数据多样性与可控性，尤其适合验证智能体在多样化企业环境下的泛化能力。

衍生相关工作

该数据集衍生了一系列创新性研究工作。基础层面，研究者基于其节点树结构与因果对齐信息，开发了分层决策Transformer模型，将GUI操作分解为高层目标（如'获取客户数据'）与低层动作（如'点击地址栏'）的联合学习，较传统端到端方法在成功率上提升显著。在评估方向上，衍生出了用于诊断智能体认知偏差的'反事实推理基准'，通过置换公司或角色标签来检测模型是否过度适应虚假相关。多智能体协作领域，有工作利用数据集中跨账户通信记录，探索了并行任务分配与冲突消解机制，推动了群组自动化工具的收敛。更进一步，该数据的多操作系统特性催生了跨平台迁移学习框架，通过对抗域适应掩码在macOS与Windows轨迹间提取通用GUI表征，为打造平台无关的自主智能体奠定了基础。

数据集最近研究

最新研究方向

当前，基于图形用户界面的智能体（GUI agents）正逐步从单应用操作迈向跨应用、多任务的复杂场景，而SynthUX Economy R5 W073数据集恰如一座桥梁，弥合了模拟环境与真实企业协作之间的鸿沟。该数据集以多公司经济生态为背景，记录了36条由SynthUX生成的完整桌面操作轨迹，涵盖终端、笔记、代码编辑器、浏览器、邮件及办公套件等多款原生应用的协同执行。其核心价值在于提供了因果级联的低层级输入事件与层级化目标树，使研究者能够追踪智能体从高层意图到屏幕像素级操作的完整映射。这种全栈式的视觉行为数据，为训练能够理解企业级工作流的自主计算机代理奠定了关键基础，尤其是在多公司交互与跨平台消息传递日益成为热点的当下。