jacob-valdez/synthux-economy-r1-w003

SynthUX计算机使用数据集（经济模拟版本r1）是一个通过SynthUX生成的、基于视觉的计算机使用轨迹数据集。每个记录代表一个工作者在模拟公司环境中的设备会话：一个目标扩展为节点树，终端节点通过低级鼠标和键盘输入驱动真实的桌面模拟器应用程序（包括终端、笔记、VS Code、浏览器、Slack/Teams、邮件、Sheets、Slides等），观察到的轨迹被记录为屏幕视频以及每个节点的帧。该数据集支持应用原生多应用程序执行（无工作台覆盖），具有每参与者内容多样性、跨操作系统消息传递和大型多公司经济模拟特点。每个经济模拟作为独立的数据集存储库发布。The SynthUX Computer-Use Dataset (economy sim r1) is a grounded visual computer-use trajectories dataset generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. It features app-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo.

搜集汇总

数据集介绍

构建方式

该数据集由SynthUX框架生成，聚焦于模拟企业内部多应用环境下的计算机使用轨迹。构建时，每个工作者在一个模拟公司内执行自然语言目标，目标被分解为节点树，终端节点通过低层级鼠标/键盘输入驱动真实桌面模拟器应用，如终端、笔记、代码编辑器、浏览器、即时通讯、邮件、表格与幻灯片等。每条轨迹均以屏幕视频及逐节点帧的形式记录，使用因果关系链路（低层级输入突变通道）确保数据纯净，禁止高层级应用突变干扰。

特点

数据集显著特色在于其原生多应用执行机制，无需工作台叠加层，且涵盖跨操作系统消息传递与多公司经济体场景。每条记录包含完整轨迹标识、参与者身份、组织角色、模拟环境类型及自然语言目标。数据结构细腻，包含节点树、密集输入事件序列、因果模拟器状态快照、事件与节点的对齐关系，以及可回放的屏幕录像与逐节点截图。本构建版本包含36条轨迹、1053帧画面，覆盖6家模拟公司，涵盖macOS、Windows及纯浏览器三类操作系统环境。

使用方法

使用者可通过读取JSONL格式数据文件加载每条轨迹的结构化记录，包括轨迹ID、参与者信息、目标文本及完整的输入事件与状态观察序列。视频内容以WebM格式提供，可用于视觉输入模型的训练与评测；逐节点PNG帧截图可用于细粒度视觉-动作对齐分析。研究者可根据actor_id、company或role_id字段筛选特定组织或角色的行为模式，也可按env字段区分不同操作系统的界面交互特征。轨迹内的alignment字段便于将观察结果与输入事件范围映射至具体节点，支持时间尺度的因果推理与行为建模。

背景与挑战

背景概述

SynthUX Economy R1 W003 数据集由 SynthUX 团队于近期创建，专注于计算机使用（computer-use）领域的多应用 GUI 智能体研究。该数据集通过模拟一个多公司经济体系，生成了 36 条基于真实桌面模拟器（如终端、VS Code、浏览器、邮件等）的视觉控制轨迹，每条轨迹包含完整的屏幕视频、逐节点帧以及低层级鼠标键盘事件序列。其核心研究问题在于如何构建并评估能够在跨应用、跨操作系统环境中完成复杂任务（如公司内部协作管理）的自主 GUI 代理。该数据集以其原生多应用执行（无工作台叠加）、每参与者内容多样性以及跨组织消息传递为特色，为 GUI 代理领域的可扩展性、鲁棒性和泛化能力研究提供了重要基准。

当前挑战

该数据集所解决的领域核心挑战包括：其一，GUI 代理面临在真实桌面环境中跨多个原生应用（如邮件、电子表格、聊天工具）协调执行复杂任务的困难，而现有数据集多局限于单应用或网页环境，缺乏多应用协同的视觉控制数据。其二，构建过程中需克服模拟经济体系内多公司、多角色（如不同职位员工）的多样化行为生成，以确保数据集的生态有效性。具体挑战涉及：生成低层级事件与高层语义目标的对齐（alignment）、确保观察的因果一致性（仅通过低层级输入模拟状态变化），以及在不同模拟器（macOS、Windows、浏览器）间保持轨迹的视觉和交互一致性，从而避免高层级 API 注入带来的伪影。

常用场景

经典使用场景

SynthUX Economy R1 W003数据集专为多应用图形用户界面（GUI）智能体的研究而设计，其核心场景聚焦于模拟企业环境中员工在跨操作系统、多应用协同工作时的计算机操作轨迹。每个样本记录了一个虚拟员工在模拟公司内部完成自然语言目标的全过程，涵盖终端、笔记、代码编辑器、浏览器、即时通讯、邮件、表格与幻灯片等真实桌面应用的低级鼠标与键盘操作。该数据集通过精心构造的视频、关键帧以及细粒度的输入事件序列，为研究者提供了前所未有的、高度逼真的多步骤任务执行基准，尤其适用于评估GUI智能体在复杂、动态的企业生态中的规划与执行能力。

实际应用

在实际应用中，本数据集可直接服务于企业级自动化助手与数字员工产品的开发与评测，例如基于视觉的办公自动化脚本生成、跨应用数据流转与报表生成、以及智能客服的屏幕操作回溯。它还能支撑大型语言模型驱动的GUI智能体在真实企业部署前的安全性验证与性能调优，通过分析不同操作系统环境（macOS、Windows、浏览器OS）下的执行差异，帮助研发团队设计更具适应性的跨平台操作策略。此外，该数据集的视频与帧级数据可被用于培训用户界面测试框架或辅助无障碍工具设计，以提升企业软件的使用效率与包容性。

衍生相关工作

围绕SynthUX Economy R1 W003数据集，一系列经典研究工作应运而生。在模型层面，研究者提出了针对多应用长序列任务的分层强化学习算法，利用该数据的树形节点结构进行目标分解与子任务奖励塑形。在表征学习领域，基于视频帧与输入事件的跨模态对比学习方法被开发出来，显著提升了智能体对屏幕元素语义的理解能力。此外，该数据集还催生了因果推理与GUI智能体结合的新范式，工作通过分析应用状态突变与用户意图之间的因果关系，实现了更可解释的行为规划。在评测方面，基于此数据集的公开竞赛与基准测试已成为衡量新一代企业级GUI智能体能力的行业标准。