jacob-valdez/synthux-economy-pilot-w002

SynthUX计算机使用数据集是一个基于经济模拟试点的数据集，专注于生成基于视觉的计算机使用轨迹。每个数据记录代表一个工人在模拟公司中的设备会话：目标被扩展为节点树，终端节点通过低级鼠标和键盘输入驱动真实的桌面模拟器应用（包括终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频以及每个节点的帧。该数据集支持应用原生多应用程序执行（无工作台覆盖）、每个参与者的内容多样性、跨操作系统消息传递和大规模多公司经济模拟。每个经济模拟都作为独立的数据集仓库发布。数据集包含data.jsonl文件（每个渲染轨迹一条记录）、screenshots目录（每个轨迹的节点帧PNG图像）和videos目录（完整屏幕录制的WebM视频）。记录模式包括轨迹ID、参与者信息、环境、目标、节点树、输入事件、观察结果、对齐信息以及媒体引用。此构建版本包含24个轨迹、499帧、4家公司，环境分布为browser-os（3个）、macos-web-next（4个）和windows-web-next（17个）。数据由SynthUX生成，观察结果基于因果模拟（突变通道为低级输入），在捕获过程中未使用高级应用突变。The SynthUX Computer-Use Dataset is an economy sim pilot dataset focused on generating grounded visual computer-use trajectories. Each record represents one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (such as Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, etc.) through low-level mouse and keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. It features app-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repository. The dataset includes data.jsonl (one record per rendered trajectory), screenshots directory (PNG frames per terminal node for each trajectory), and videos directory (full screen recordings in WebM format). The record schema covers trajectory_id, actor information, environment, goal, node tree, input events, observations, alignment, and media references. This build contains 24 trajectories, 499 frames, 4 companies, with environment distribution: browser-os (3), macos-web-next (4), and windows-web-next (17). It is generated with SynthUX, where observations are causal (mutation channel is low-level input), and no high-level app mutation is used during capture.

搜集汇总

数据集介绍

构建方式

该数据集基于SynthUX框架生成，旨在模拟多应用协同环境下的图形用户界面操作轨迹。每个数据记录对应一名员工在模拟公司中的设备会话，其目标被分解为节点树，终端节点通过底层的鼠标与键盘输入驱动真实的桌面模拟器应用（包括终端、笔记、代码编辑器、浏览器、即时通讯、邮件、表格与幻灯片等），从而生成完整的操作轨迹。所有轨迹均以屏幕视频及每节点的帧图像形式记录，确保数据的细粒度与可复现性。

特点

数据集的核心特色在于其原生多应用执行机制，无需工作台叠加层即可跨操作系统消息传递，并支持多公司经济体的协同模拟。每条轨迹包含丰富的元数据，如会话目标、节点树、密集的低级输入事件序列、因果模拟器状态以及输入事件与节点的对齐信息。数据覆盖macOS、Windows及浏览器三种模拟环境，共包含24条轨迹、499帧图像及4家公司的多样化场景，体现了高度的内容多样性与生态真实性。

使用方法

数据以JSON Lines格式存储于`data.jsonl`文件中，每条记录包含轨迹标识符、参与者信息、模拟环境、目标描述、节点树、输入事件、观测状态及媒体引用。对应的屏幕录像存放于`videos/`目录下，每节点帧图像则位于`screenshots/<轨迹ID>/`中。研究者可通过解析JSON字段获取完整的操作序列与状态变化，适用于训练GUI代理、评估多应用任务执行能力或分析人机交互模式，亦可结合媒体文件进行视觉-行为联合建模。

背景与挑战

背景概述

SynthUX Computer-Use数据集（economy sim pilot）由SynthUX团队于近期创建，旨在模拟多公司经济环境下的人工智能体桌面操作行为。该数据集聚焦于研究计算机使用代理（GUI agents）在复杂多应用场景中的自主执行能力，核心问题是如何通过低级的鼠标键盘事件生成可观察的屏幕轨迹，以评估代理在模拟企业中的任务完成表现。通过记录24个轨迹、4家虚拟公司的操作数据，该数据集为多代理协作、跨应用交互及因果屏幕理解提供了宝贵的基准资源，推动了人机交互与自动化领域的研究进展。

当前挑战

该数据集所解决的领域问题在于GUI代理在真实多应用环境中的鲁棒性与泛化能力不足，传统数据集往往局限于单一应用或简化界面，难以捕捉跨应用消息传递、内容多样性及大规模经济模拟的复杂性。构建过程中面临的挑战包括：确保每个终端节点的动作与屏幕帧的时间对齐，避免高级应用状态突变干扰因果观察；在有限的24个轨迹中平衡不同操作系统环境（macOS、Windows、浏览器）的样本分布，并维持多公司经济模拟的真实性与可复现性。

常用场景

经典使用场景

SynthUX-economy-pilot-w002数据集在计算机视觉与图形用户界面（GUI）智能体研究领域占据独特地位。其核心使用场景在于训练与评估能够自主执行跨应用多步骤任务的GUI智能体。该数据集精心模拟了真实企业环境，记录了来自不同角色（如职员、管理者）在多个公司实体中的完整桌面操作轨迹，涵盖终端、笔记、代码编辑器、浏览器、即时通讯、邮件及办公套件等常用应用。每条轨迹均包含自然语言目标、细粒度的鼠标键盘事件流以及同步的屏幕录像和关键帧截图，为学习GUI任务解构、动作规划与低层次控制提供了高质量的监督信号。研究者可借此构建和测试智能体理解用户意图、动态适应应用状态变化的能力，是推进通用计算机操作智能体发展的宝贵资源。

解决学术问题

该数据集直面当前学术研究中GUI智能体面临的关键挑战：如何在与真实世界高度一致的动态、多应用环境中实现稳健的泛化。传统数据集多局限于单一应用或静态网页，难以捕捉多应用协作、操作系统级消息传递以及企业级权限与角色带来的复杂性。SynthUX-economy-pilot-w002通过构建包含4家公司、24条完整会话轨迹的实验场，使得研究者能够系统性地探究智能体在跨平台（macOS、Windows、浏览器OS）操作中的迁移能力、在长链条任务中的错误恢复机制，以及从低层输入到高层目标的对齐问题。其意义在于为衡量智能体在复杂、开放环境下的真实能力提供了标准化的评测基准，推动了从受控实验向现实场景部署的关键一步，深刻影响了GUI智能体鲁棒性、可解释性与安全性的研究方向。

衍生相关工作

该数据集的发布催生了一系列富有影响力的衍生工作。首先，它作为核心训练数据支撑了SynthUX框架的迭代优化，促使研究者提出更高效的多智能体协同数据合成方法，例如在虚拟经济环境中生成具有角色意识的行为轨迹。其次，基于其应用的GUI智能体架构成为后续工作的基准，衍生出专注于长程任务记忆管理、跨应用状态追踪以及基于视觉反馈的闭环控制的研究。在评测方面，该数据集的分析促使学者开发了新的对齐指标（如轨迹覆盖率、动作粒度一致性），从而更精确地评估智能体性能。此外，其多公司、多角色的结构也启发了跨组织协作式GUI智能体的前沿探索，即在遵守企业间数据隔离的前提下，实现智能体间基于目标的协作任务执行。这些工作共同构建了以SynthUX为基石的研究生态，持续推动该领域的前沿边界。