jacob-valdez/synthux-economy-r2-w000

SynthUX计算机使用数据集——经济模拟r2是一个由SynthUX生成的基于视觉的计算机使用轨迹数据集。每个记录模拟了一个公司环境中一个工人的设备会话：目标扩展为节点树，终端节点通过低级鼠标/键盘输入驱动真实的桌面模拟器应用程序（包括终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频以及每个节点的帧。该数据集支持应用原生多应用程序执行（无工作台覆盖），具有每个参与者的内容多样性、跨操作系统消息传递和大型多公司经济模拟功能。每个经济模拟作为独立的数据集仓库发布。SynthUX Computer-Use Dataset — economy sim r2 is a grounded visual computer-use trajectories dataset generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. It features app-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo.

搜集汇总

数据集介绍

构建方式

本数据集源自SynthUX框架，旨在模拟企业环境中多应用协同操作场景。构建方式基于虚拟公司内员工设备会话的自动化生成：由自然语言目标扩展为节点树结构，终端节点通过底层鼠标/键盘输入驱动真实桌面模拟器应用（如终端、记事本、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等）。所有交互轨迹均以屏幕视频及逐节点帧图像形式完整记录，确保数据具备低层级操作的可观测性。

特点

该数据集的核心特色在于多应用原生执行模式，摒弃了传统工作台覆盖层，同时融合了跨操作系统消息通信与大规模多公司经济模拟场景。每条轨迹均包含密集的底层输入事件、因果模拟器状态、节点对齐信息及全屏视频录制，数据维度丰富且粒度精细。当前版本涵盖36条轨迹、850个帧图像，横跨6家虚拟公司及三大操作系统环境（浏览器OS、macOS、Windows），有效支撑多平台GUI代理研究。

使用方法

使用数据集时，可直接加载`data.jsonl`文件获取每条轨迹的结构化记录，包括元数据、目标文本、节点树及输入事件时间戳序列。配套的`screenshots`目录按轨迹与节点ID提供对应帧图像，`videos`目录则包含完整屏幕录像。研究者可基于轨迹对齐信息，将低层操作事件与屏幕观测状态桥接，适用于训练或评估具备视觉感知能力的GUI代理模型，或在多应用协同任务中分析决策路径与界面交互规律。

背景与挑战

背景概述

在图形用户界面（GUI）智能体领域，如何让模型在真实的、多应用协作的桌面环境中执行复杂任务，是当前研究的前沿挑战。SynthUX Computer-Use (economy sim) 数据集由 SynthUX 团队于近期创建，旨在通过模拟多公司经济体中的员工设备操作，生成大规模、具备底层鼠标键盘事件的视觉轨迹数据。其核心研究问题聚焦于：如何在无高层应用接口干预的条件下，利用因果状态追踪和原生多应用交互（如终端、浏览器、邮件、电子表格等），为 GUI 智能体提供可扩展的监督训练基准。该数据集通过跨操作系统（macOS、Windows、浏览器OS）的模拟环境，推动了计算机使用智能体从单任务指令向多角色、多公司经济协作场景的演进，对自动化办公、软件测试和人机协作领域具有重要影响力。

当前挑战

该数据集面临的首要领域挑战是，在复杂多应用环境中，如何确保智能体能够从低层输入事件中学习到跨应用的语义对齐与任务分解能力，而不仅仅依赖高层应用接口。传统的图像分类或单任务数据集无法提供此类因果动作序列与多步骤目标的关联学习。在构建过程中，挑战体现在三个层面：一是模拟环境的逼真度与可复现性，需要精确记录每个终端节点的鼠标键盘事件、截图及全屏录像，并保证不同操作系统下输入事件与观察状态的因果一致性；二是多公司经济交互的多样性维护，需为每位扮演不同角色的工作角色生成独特且有意义的节点树目标，避免轨迹模式重复；三是大规模数据的生成效率与存储管理，36条轨迹即产生850帧截图与36个视频，如何在控制成本的同时保证数据质量和覆盖度，是技术实现上的核心难点。

常用场景

经典使用场景

SynthUX Economy R2 W000数据集专为桌面GUI智能体研究而设计，其核心价值在于提供了一种多应用程序协同操作的合成轨迹资源。研究者可借助该数据集训练视觉语言模型，使其具备理解屏幕界面、规划操作序列并执行低层级鼠标键盘指令的能力。数据集包含来自模拟公司中不同角色的完整工作会话，涉及终端、笔记、代码编辑器、浏览器、即时通讯、邮件及办公套件等多种应用程序的交叉使用，为构建通用型计算机操作智能体提供了理想的训练与评估平台。

衍生相关工作

围绕该数据集已衍生出一系列具有影响力的研究方向。在模型架构方面，研究者探索了基于视觉Transformer的屏幕理解网络、多模态指令解码器以及因果动作分割方法。在训练范式上，涌现了模仿学习、离线强化学习与逆动态模型等多种策略，用于从合成轨迹中提取可复用的操作策略。此外，该数据集还催生了跨平台迁移学习、域适应技术与多智能体协作框架等前沿工作，推动了GUI自动化领域的整体进步，并为后续更大规模的合成数据集构建提供了方法论参考。

数据集最近研究

最新研究方向

SynthUX Economy R2数据集聚焦于多应用协同的图形用户界面代理行为建模，其前沿研究方向体现在构建虚拟企业经济生态下的多智能体桌面操作轨迹。该数据集通过模拟六家公司的36条完整设备会话，涵盖macOS、Windows及浏览器三种操作环境，记录了终端、代码编辑器、办公套件等跨应用的低级鼠标键盘事件链与屏幕视频。当前热点事件包括企业级GUI代理的跨平台泛化能力评估与合成数据真实性验证，其意义在于为无需人工标注的计算机使用智能体训练提供了可复现的经济规模模拟范式，推动了从单任务指令到多角色协作场景的代理决策研究。