jacob-valdez/synthux-economy-r5-w040

SynthUX计算机使用数据集——经济模拟r5，是一个由SynthUX生成的基于视觉的计算机使用轨迹数据集。每个记录代表一个模拟公司内工人的设备会话：目标扩展为节点树，终端节点通过低级鼠标/键盘输入驱动真实桌面模拟器应用（包括终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频和每节点帧。数据集支持应用原生多应用程序执行（无工作台覆盖），具有每个参与者内容多样性、跨操作系统消息传递和大规模多公司经济模拟特点。每个经济模拟作为独立的数据集仓库发布。SynthUX Computer-Use Dataset — economy sim r5, grounded visual computer-use trajectories generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. App-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo.

搜集汇总

数据集介绍

构建方式

SynthUX Computer-Use数据集中的economy sim r5版本，旨在模拟多应用协同的图形用户界面操作轨迹。其构建方式基于合成用户（SynthUX）框架，将每位工作者在模拟公司内的设备会话转化为结构化记录。具体而言，一个自然语言目标被展开为节点树，终端节点驱动底层鼠标与键盘输入，操作真实桌面模拟器应用（如终端、笔记、代码编辑器、浏览器、即时通讯、邮件、表格、演示文稿等），最终生成的轨迹以屏幕视频及节点帧的形式被完整捕获。该过程摒弃了工作台覆盖层，实现了应用原生的多应用执行，确保了轨迹的真实性与多样性。

特点

该数据集的核心特点在于其跨平台、多应用及多公司经济的模拟属性。它包含了macOS、Windows及纯浏览器环境下的操作轨迹，覆盖了6家模拟公司、36条完整轨迹及861帧节点图像，展现了丰富的角色、职位与公司层级。每条轨迹均包含从自然语言目标到低层级输入事件的完整对齐信息，且观测数据基于因果模拟器状态生成，确保了轨迹的可复现性与分析价值。此外，每家公司经济模拟均作为独立的数据集仓库发布，便于研究者按需聚焦特定场景。

使用方法

数据集以JSON Lines格式存储轨迹记录，每条记录包含轨迹标识符、用户角色、执行环境、目标文本、节点树、输入事件序列、观测状态及媒体文件引用。研究者可通过解析data.jsonl文件获取结构化数据，并借助screenshots目录下的节点帧或videos目录中的屏幕录像进行视觉分析。对于需要细粒度行为建模的任务，可依据alignment字段将观测与输入事件范围映射至具体节点；而关注多应用协同的场景，则可利用env字段筛选特定操作系统环境下的轨迹进行深入探索。

背景与挑战

背景概述

SynthUX Computer-Use（economy sim r5）数据集由SynthUX团队创建，聚焦于多应用、多角色的图形用户界面（GUI）智能体研究。该数据集于近年开发，旨在模拟真实企业环境中工人通过桌面应用程序（如终端、浏览器、Slack等）执行复杂任务的过程，生成基于屏幕录像和节点帧的细粒度人机交互轨迹。其核心研究问题在于提供一种可扩展的、因果关联的合成数据生成框架，以支持GUI智能体在跨操作系统、跨组织经济模拟场景中的训练与评估。该数据集通过全栈模拟（包括低层鼠标/键盘输入与高层应用状态记录）填补了现有计算机使用数据集的空白，对多应用协调、人机协作及企业级自动化等领域具有重要推动力。

当前挑战

数据集面临的核心挑战在于解决GUI智能体领域中的多应用协同与泛化问题——现有模型常局限于单一应用或预设工作流，难以适应真实企业环境中跨软件（如邮件、表格、即时通讯等）的动态协作。构建过程中，SynthUX需克服经济模拟的复杂性，包括确保生成的6家公司、36条轨迹在内容多样性和跨OS消息传递上的真实性，同时维持低层输入与高层目标的对齐。此外，还需应对细粒度动作标注的高成本、屏幕录制的存储开销，以及因果状态与观察序列的精确匹配难题，这些均对数据集的规模和代表性构成制约。

常用场景

经典使用场景

在GUI代理与计算机使用领域，SynthUX Economy数据集为多应用协同操作的智能体行为研究提供了标准化的基准测试平台。该数据集包含36条由模拟经济环境中不同角色执行的真实计算机操作轨迹，每条轨迹涵盖从自然语言目标到低层级鼠标键盘输入的完整映射。研究者可借助其精细标注的节点树结构和屏幕录像，评估智能体在多应用环境下的意图理解、任务规划与执行连贯性能力。相较于传统单一应用测试集，此数据集的跨应用、跨平台特性使其成为验证通用计算机使用代理效能的首选资源。

实际应用

在实际应用中，SynthUX Economy数据集直接支撑企业级数字助理和自动化办公系统的研发。基于其跨平台（macOS、Windows、浏览器）的轨迹数据，开发者可以训练智能体完成财务报表整合、跨系统消息同步、多文档协作编辑等典型经济业务场景。例如，数据集中公司角色执行的工作流程可作为模板，用于构建能自动处理从邮件提取数据到生成演示文稿的端到端自动化流水线。此外，其包含的故障恢复轨迹还能帮助设计更稳健的办公机器人，在操作失败时自主回滚或调整策略，显著提升企业日常运营的数字化效率。

衍生相关工作

该数据集衍生了一系列关于多应用GUI代理的基础性研究工作。最直接的衍生方向是基于其轨迹数据开发的层次化任务分解神经网络结构，该结构借鉴了树形节点树对复杂目标层层拆解的思路。另有工作利用数据集中对齐的输入事件与观测帧，设计出跨浏览器的视觉语言预训练模型，提升智能体对模糊用户指令的解析精度。经济模拟中的角色多样性也催生了研究，探索如何通过元学习使单个智能体快速适应不同公司文化下的操作习惯。这些研究共同构成了当前计算机使用智能体领域从简单命令执行迈向复杂场景认知的关键技术积累。