jacob-valdez/synthux-economy-r5-w004

SynthUX计算机使用数据集——经济模拟r5是一个基于SynthUX生成的视觉计算机使用轨迹数据集。每个记录代表一个模拟公司内工人的设备会话：目标扩展为节点树，终端节点通过低级鼠标/键盘输入驱动真实桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、Sheets、Slides等），观察到的轨迹被记录为屏幕视频加上每节点帧。该数据集支持应用原生多应用执行（无工作台覆盖）、每参与者内容多样性、跨操作系统消息传递和大规模多公司经济模拟。每个经济模拟都作为独立的数据集存储库发布。SynthUX Computer-Use Dataset — economy sim r5 is a dataset of grounded visual computer-use trajectories generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. It features app-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo.

搜集汇总

数据集介绍

构建方式

本数据集源自SynthUX框架生成的接地视觉计算机使用轨迹，模拟了一家虚构公司内部多位员工在真实操作系统环境中的设备操作会话。构建过程始于一个自然语言目标，该目标被逐层分解为节点树，终端节点通过低层级鼠标与键盘输入驱动桌面模拟器应用程序——涵盖终端、笔记、代码编辑器、浏览器、即时通讯、邮件、电子表格与演示文稿等十余种工具。整个执行过程不借助任何工作台覆盖层，完全依托应用原生界面，并记录为屏幕视频与逐节点帧图像。每个轨迹对应一个独立的经济模拟会话，不同企业规模与跨操作系统消息传递环境被纳入设计，以增强内容多样性。

使用方法

数据以标准JSON行格式存储于data.jsonl文件中，每条记录包含轨迹标识、参与者角色、企业归属、目标文本、节点树结构、底层输入事件序列及因果观测状态。配套的screenshots目录按轨迹与节点组织PNG帧图像，videos目录则提供完整的WebM格式屏幕录制。研究人员可通过解析输入事件的时间戳与对齐字段，还原每一步操作的环境变化；帧图像可用于视觉状态识别，而视频则为端到端行为分析提供连续上下文。数据集已采用Apache-2.0许可，适用于GUI智能体训练、人机交互建模与多任务规划研究。

背景与挑战

背景概述

SynthUX Computer-Use (economy sim r5)数据集由SynthUX团队于近年构建，专注于生成基于视觉的计算机操作轨迹，模拟多应用协同工作场景。该数据集的核心研究问题在于如何通过合成数据驱动GUI代理（GUI Agents）在真实桌面环境中的自主操作能力，涵盖终端、代码编辑器、浏览器、即时通讯工具、电子表格等多应用交互。数据集包含36条轨迹、1062帧图像及完整屏幕录像，跨越6个模拟公司环境，涉及macOS、Windows及云端浏览器三种操作系统，为多代理经济系统中的计算机使用行为研究提供了标准化的基准。其开创性在于采用原生多应用执行框架而非工作台覆盖层，并实现跨操作系统消息传递，对探索人机协作与自动化任务执行具有重要推动作用。

当前挑战

该数据集面临的核心挑战包括：1）在领域问题层面，需解决GUI代理在动态多应用环境中（如跨平台消息传递、实时屏幕反馈）的自适应决策难题，传统单任务模型难以应对异质界面与复杂操作序列；2）构建过程中，合成轨迹的因果一致性要求高——必须确保低层级鼠标/键盘事件与节点级动作的精准对齐，同时避免高等级API注入导致仿真失真；3）跨操作系统（macOS、Windows、浏览器）的输入协议差异与渲染差异增加了数据标准化难度，且每公司角色的个性化任务（如经济模拟中的跨组织协作）需平衡多样性覆盖与模拟成本。

常用场景

经典使用场景

在人工智能与计算机交互领域，SynthUX Economy R5 W004数据集被广泛用于训练和评估图形用户界面（GUI）代理的感知与决策能力。其核心应用场景聚焦于多应用协同的复杂工作流程，模拟企业环境中员工使用多种桌面应用（如终端、笔记、代码编辑器、浏览器、即时通讯、邮件、表格和幻灯片）完成目标任务的全过程。每个轨迹记录包含从自然语言目标到细粒度鼠标键盘操作的完整转换，研究人员可借此研究代理如何在真实桌面布局中解析界面元素、规划操作序列并执行精确交互，从而推动计算机使用自动化技术的发展。

解决学术问题

该数据集系统性地解决了GUI代理研究中的两大关键挑战：多应用编排与因果行为建模。学术研究中，代理常因应用间状态依赖复杂而难以实现端到端任务完成，而SynthUX通过提供跨多公司、多角色、多操作系统的执行轨迹，为研究跨应用信息传递与任务分解提供了结构化训练资源。同时，其因果观测设计（仅记录低层输入对应用状态的影响）帮助学者区分代理决策与环境变化间的因果关系，避免高层应用突变带来的混淆效应，从而更精准地评估代理规划与自适应能力。这一设计显著推动了对复杂交互环境中智能体学习机制的深入理解。

实际应用

在实际产业部署中，该数据集支撑着企业级自动化助手与智能流程优化工具的开发。例如，基于其轨迹数据训练的模型可自动执行日常办公任务，如跨应用数据同步、多平台通信协调或报表生成，显著提升员工效率。此外，数据集模拟的多人组织交互场景（如6家企业、36个角色会话）为构建协作型GUI代理提供了框架，使其能理解不同部门职责与权限边界，在符合实际工作流规范的前提下完成操作。金融、物流等行业的合规审查与操作自动化也可借助此类数据降低人工重复劳动风险。

数据集最近研究

最新研究方向

面向GUI代理的多应用经济模拟与合成轨迹生成是当前人机交互与智能体研究的前沿方向。SynthUX Economy R5数据集通过模拟多公司经济生态，生成了跨操作系统、多应用协同的桌面级计算机使用轨迹，涵盖终端、浏览器、办公套件等真实软件场景。该数据集的核心价值在于为GUI代理提供高保真的视觉-动作对齐训练数据，推动从单一任务到复杂经济模拟环境的泛化研究。其发布的36条轨迹与1062帧图像，为构建能理解跨应用工作流、执行多步骤操作的可信AI代理奠定了数据基础，并有望加速企业自动化与智能办公领域的实证进展。