jacob-valdez/synthux-economy-r4-w025

SynthUX计算机使用数据集——经济模拟r4，是由SynthUX生成的基于视觉的计算机使用轨迹数据。每个记录模拟了一个工人在公司环境中的设备会话：目标被扩展为节点树，终端节点通过低级别鼠标/键盘输入驱动真实桌面模拟器应用程序（包括终端、笔记、VS Code、浏览器、Slack/Teams、邮件、Sheets、Slides等），观察到的轨迹以屏幕视频和每个节点的帧记录。该数据集支持应用程序原生多应用程序执行（无工作台覆盖）、每个参与者内容的多样性、跨操作系统消息传递以及大规模多公司经济模拟。每个经济模拟都作为独立的数据集仓库发布。SynthUX Computer-Use Dataset — economy sim r4. Grounded visual computer-use trajectories generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. App-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo.

搜集汇总

数据集介绍

构建方式

该数据集由SynthUX框架生成，专注于模拟多公司经济环境下的图形用户界面（GUI）代理行为。构建过程基于一种层级式的目标分解策略：每个工作会话的宏观目标被逐步细化为节点树，终端节点通过低层级的鼠标与键盘输入，驱动一系列真实的桌面模拟器应用程序（包括终端、笔记、VS Code、浏览器、即时通讯、邮件及办公套件等），从而在无工作台覆盖的原生多应用环境中生成完整的操作轨迹。每一条记录对应一名员工在模拟公司内的设备会话，轨迹数据通过屏幕视频与各节点关键帧的形式完整记录。经济模拟按独立数据集仓库发布，本数据集即为其中之一。

特点

该数据集的显著特点在于其高度拟真的多应用协同与跨平台操作模拟能力。支持macOS、Windows及纯浏览器三种桌面环境，涵盖六家模拟公司，共计36条操作轨迹与947帧关键图像。每一条轨迹均包含密集的底层输入事件序列（鼠标、键盘及脚本），并配有因果性观测记录，确保数据在低层级输入通道上的原子性与可复现性。通过跨操作系统消息传递与角色内容多样性设计，实现了大规模多公司经济生态下的个性化交互行为建模，为GUI代理研究提供了丰富且真实的验证场景。

使用方法

数据集以JSON Lines格式存储，每条记录包含唯一的轨迹标识符、所属公司、角色及环境信息。用户可直接加载data.jsonl文件，通过trajectory_id索引特定会话，利用goal字段获取自然语言目标，结合tree.nodes结构理解任务分解逻辑。支持通过trajectory.input_events和trajectory.observations字段分析底层交互序列与因果状态变化，同时可使用media.video字段获取全屏录屏文件，或通过media.frames字段访问每个终端节点的关键帧图像。适用于训练和评估基于视觉的GUI代理模型、多应用任务规划算法及跨平台操作系统的泛化能力测试。

背景与挑战

背景概述

在图形用户界面（GUI）智能体研究领域，如何构建能够跨应用执行多步骤任务的计算机使用智能体成为关键课题。SynthUX Computer-Use (economy sim) 数据集由当前研究团队于2024年推出，聚焦模拟公司经济环境下的多应用协作场景。该数据集通过合成数据生成技术（SynthUX框架），在macOS、Windows及浏览器操作系统上运行终端、笔记、代码编辑器、浏览器、邮件、电子表格等真实桌面应用，记录低层级鼠标键盘操作轨迹。每个数据样本包含完整的屏幕视频、逐节点截图以及结构化的动作标签，为研究多应用交互、跨组织通信和长序列任务提供了基础支持。其开放数据格式与Apache-2.0许可推动了GUI智能体评估基准的发展，成为连接模拟环境与真实用户行为的桥梁。

当前挑战

该数据集面临的挑战主要来源于三个层面。首先，多应用嵌套执行带来的状态对齐问题：低层级输入事件与应用内部状态之间存在因果链路，但捕捉这种耦合关系需要精确的时间戳与节点映射，构建难度极大。其次，跨操作系统与跨应用的多样性需求：模拟六家公司、三种平台（macOS/Windows/浏览器）的差异化界面与行为逻辑，要求生成器具备极高的泛化能力，否则易导致数据分布偏离真实场景。最后，合成数据与真实用户操作的语义鸿沟：尽管轨迹结构完整，但合成策略可能遗漏意外操作（如系统弹窗干扰或网络延迟），导致智能体在部署时对偶发事件缺乏鲁棒性。这些挑战共同制约着数据集在复杂任务迁移评估中的有效性。

常用场景

经典使用场景

SynthUX Economy R4 W025 数据集专为多应用、多代理的图形用户界面（GUI）智能体研究而设计，其核心使用场景在于模拟企业级环境中计算机使用轨迹的生成与评估。通过构建包含六家虚拟公司的经济仿真场景，数据集记录了36条完整的设备操作轨迹，覆盖了终端、笔记、代码编辑器、浏览器、即时通讯、邮件、电子表格和幻灯片等多种桌面应用的协同操作。每条轨迹均以自然语言目标为驱动，通过节点树结构分解任务，并最终转化为低层级的鼠标与键盘输入事件，同时配以全屏视频和逐节点截图作为观测依据。这使得研究者能够在接近真实的复杂办公场景中，系统性地训练和测试GUI智能体理解多步任务、跨应用协作以及基于视觉反馈进行决策的能力。

解决学术问题

该数据集旨在克服现有GUI智能体研究中的关键瓶颈，即在高度简化或单一应用环境中训练的模型，难以泛化到现实世界中频繁出现的多应用、多窗口、跨平台操作场景。SynthUX Economy R4 W025 通过引入丰富的公司架构、角色分工和动态的跨应用消息传递机制，解决了“上下文感知的多步操作轨迹规划”和“异构应用间的状态同步与协调”这两个学术难题。它使研究者得以量化分析智能体在处理结构化目标分解（如从自然语言到具体操作序列的映射）、处理模态切换（如从代码编辑器到即时通讯工具）以及应对长程依赖（长达数十步的操作序列）时的性能表现。此数据集的发布，为推动从单任务演示学习迈向复杂的多任务、多代理协作学习提供了关键的数据基础设施。

衍生相关工作

该数据集的衍生工作主要集中在三大方向。其一，催生了一系列针对多应用长程轨迹的表示学习研究，例如开发能够从94%帧级的观测中学习到高阶任务意图的视觉-语言编码器，以及将节点树结构作为弱监督信号来改进智能体策略的预训练方式。其二，衍生出多代理协作的交互式仿真框架，研究者利用该数据集中公司内部的不同角色（如财务分析师与项目经理）轨迹，探索了基于大语言模型的智能体在分工、沟通与冲突仲裁方面的协作机制。其三，推动了GUI智能体评估范式的革新，衍生出如“一致性度量”（Semantic Alignment Score）和“操作效率指数”等新指标，用以替代传统的简单任务成功率，从而更精细地刻画智能体在复杂多步骤任务中的鲁棒性和最优性。这些衍生工作共同构建了围绕复杂GUI自动化场景的学术生态闭环。