jacob-valdez/synthux-economy-r5-w035

SynthUX计算机使用数据集是一个基于视觉的计算机使用轨迹数据集，由SynthUX生成。每个记录代表一个工人在模拟公司内的设备会话：一个目标扩展为节点树，终端节点通过低级别鼠标和键盘输入驱动真实的桌面模拟器应用程序（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察轨迹以屏幕视频和每节点帧的形式记录。该数据集支持应用原生多应用程序执行（无工作台覆盖）、每参与者内容多样性、跨操作系统消息传递和大型多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。SynthUX Computer-Use Dataset is a grounded visual computer-use trajectories generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. It features app-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo.

搜集汇总

数据集介绍

构建方式

SynthUX-economy-r5-w035 数据集通过 SynthUX 生成，模拟了多公司经济环境下的计算机使用轨迹。每个记录对应一名员工在模拟公司内的设备会话：初始目标被扩展为节点树，终端节点驱动桌面模拟器应用程序（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），通过底层鼠标/键盘输入执行操作，并记录完整轨迹为屏幕视频及每节点帧。构建过程遵循因果性原则，仅通过低层级输入进行状态突变，未使用高层应用接口，确保了数据的真实性与可复现性。

特点

该数据集以多应用原生执行为核心，突破单一工作台覆盖限制，实现跨操作系统消息传递与多公司经济体系模拟。数据包含36条轨迹、1031帧图像及6家公司的多样化场景，覆盖macOS、Windows及浏览器三种仿真环境。每条记录详细标注了参与者、公司、角色、目标及底层事件时间戳，并通过对齐链接将观测状态与输入事件映射至节点，确保了轨迹的细粒度与因果一致性，适用于GUI代理的视觉感知与行为分析。

使用方法

数据集以 JSON Lines 格式存储于 `data.jsonl` 文件中，每条记录包含轨迹ID、参与者信息、目标、节点树、输入事件序列及观测状态。屏幕截图存储于 `screenshots/<trajectory>/<node_id>.png` 目录下，视频文件以 WebM 格式存放于 `videos/` 目录。用户可通过解析 JSON 记录获取轨迹数据，结合图像与视频进行多模态模型训练与评估。建议利用对齐字段将输入事件与节点对应，以支持因果推理与行为克隆等下游任务。

背景与挑战

背景概述

SynthUX Computer-Use (economy sim) 数据集诞生于2024至2025年间，由SynthUX团队构建，专注于模拟多应用、跨操作系统的图形用户界面（GUI）代理行为。该数据集以32个经济场景模拟为基础，涵盖6家虚构公司、36条完整轨迹及1031帧屏幕截图，旨在研究计算机使用代理在复杂多任务环境中的决策与交互能力。通过模拟员工在终端、浏览器、办公套件等桌面应用间的自然操作，数据集为GUI代理的视觉 grounding、任务分解及低层输入控制提供了丰富的训练资源。作为首个大规模多应用经济模拟轨迹集合，它推动了自主代理从单一应用向复合企业工作流的演进，对智能助手、自动化办公等领域具有重要影响。

当前挑战

数据集面临的核心挑战在于复现与泛化：1) 领域问题方面，GUI代理需在异构应用（如Slack与VS Code）间无缝切换，处理跨OS（macOS、Windows、浏览器）的界面差异，以及动态经济角色（如财务、技术岗）导致的多样化目标。2) 构建过程中，低层事件（鼠标/键盘）与高层语义（如“发送邮件”）的精确对齐需要大量人工标注，且模拟器需保证因果一致性——仅通过低层输入改变状态，避免高层API污染。此外，每公司经济模拟的独立发布增加了数据整合难度，而有限轨迹（36条）对模型泛化能力构成制约。

常用场景

经典使用场景

在图形用户界面（GUI）智能体研究领域，SynthUX Economy数据集以其多应用协同操作的真实模拟场景而备受瞩目。该数据集精心构建了一个涵盖多个虚拟公司的经济仿真环境，每个记录对应一名员工在桌面操作系统上的完整设备会话。经典使用场景聚焦于评估和训练能够跨应用执行复杂业务流程的视觉语言模型，例如在终端、代码编辑器、浏览器、邮件及即时通讯工具之间无缝切换，完成从数据查询、分析到报告生成的全链条操作。研究者可利用该数据集中的密集低级输入事件链与屏幕视频，开发具备多步推理与工具调用能力的智能体，从而在无需人工干预的情况下模拟真实职场中的数字工作流。

实际应用

在实际产业落地中，该数据集支撑着企业级数字助手的原型验证与性能优化。借助数据集涵盖的邮件、即时通讯、文档编辑与浏览器等多应用会话，开发者可以训练出能够自动处理报销审批、数据报表生成及跨部门沟通等典型职场任务的智能代理。此外，数据集中包含的不同操作系统环境（如macOS与Windows）与多公司组织架构，使得模型能够适应多样化的软件生态与权限配置。这类应用显著降低了人力在重复性数字化操作中的消耗，尤其适用于金融、咨询及科技公司中的财务分析、项目协作与客户支持等高频交互场景，有望重塑人机协作的效率边界。

衍生相关工作

SynthUX Economy数据集催生了一系列围绕多步GUI操作理解与生成的前沿工作。其中，基于其轨迹对齐机制的研究提出了因果动作分解网络，将复杂的屏幕观察序列映射为可解释的操作子目标；另一些工作则利用数据集中的多公司模拟背景，探索了角色化智能体在跨组织协作中的策略学习。此外，该数据集的密集输入事件记录为低层次人机交互建模提供了稀缺的监督信号，衍生出针对鼠标键盘序列的预训练范式，推动了GUI基础模型的发展。在评估体系层面，研究者借鉴其多维度对齐标签，设计了基于过程而非仅结果的智能体绩效度量指标，提升了模型在真实工作流中的泛化性评估精度。