jacob-valdez/synthux-economy-r4-w010

SynthUX计算机使用数据集（经济模拟版本）是一个基于模拟环境的计算机使用轨迹数据集。它由SynthUX生成，每个记录代表一个模拟公司内的工作者设备会话：目标扩展为节点树，终端节点通过低级别鼠标/键盘输入驱动真实桌面模拟器应用（包括终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频以及每个节点的帧。该数据集支持应用原生多应用程序执行（无工作台覆盖），具有每个参与者内容多样性、跨操作系统消息传递以及大型多公司经济模拟的特点。每个经济模拟作为独立的数据集存储库发布。Grounded visual computer-use trajectories generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. App-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo.

搜集汇总

数据集介绍

构建方式

本数据集基于SynthUX框架生成，模拟了一家虚拟公司内多名员工的桌面操作轨迹。每个记录对应一位工作者在模拟公司中的一次设备会话：一个自然语言目标被展开为一棵节点树，终端节点通过低层级鼠标和键盘输入驱动真实的桌面模拟器应用程序（包括终端、笔记、代码编辑器、浏览器、即时通讯、邮件、电子表格、幻灯片等）。系统记录下完整的操作轨迹，包括屏幕视频和每个节点对应的帧图像，所有观察结果均为因果关系，仅通过低层级输入通道进行状态变更，避免了高层应用层面的直接操作。

特点

该数据集具备应用原生的多应用执行能力，无需工作台覆盖层，确保操作轨迹的真实性与可迁移性。每个角色的内容具有高度多样性，支持跨操作系统的消息交互，并涵盖多公司经济模拟场景。本版本包含36条轨迹、6家虚拟公司、906个帧图像，运行环境覆盖macOS、Windows及浏览器操作系统。每条轨迹均包含密集的低层级输入事件、因果模拟器状态以及节点与观察结果的精确对齐信息，为计算机使用代理的研究提供了细粒度的行为数据。

使用方法

数据集以JSONL格式存储主要记录，每条记录包含轨迹ID、参与者信息、环境类型、自然语言目标、终端节点树、密集输入事件序列及对齐信息。媒体数据以WebM视频和PNG帧图形式独立存储，路径分别位于videos/和screenshots/目录下。研究者可直接加载data.jsonl文件，通过trajectory_id索引对应的视频和帧图像，结合输入事件时间戳与节点ID进行行为分析、模型训练或代理评测。数据集采用Apache 2.0许可，适用于学术研究与商业应用。

背景与挑战

背景概述

SynthUX Computer-Use (economy sim)数据集由SynthUX生成，创建于多公司经济模拟的背景下，旨在为计算机使用（Computer-Use）和图形用户界面代理（GUI Agents）研究提供高保真的视觉轨迹数据。该数据集由相关研究机构开发，核心研究问题聚焦于如何利用合成数据训练智能体在复杂的多应用、跨操作系统环境下执行用户级任务。每个记录模拟了公司员工在真实桌面环境（如macOS、Windows和浏览器）中的操作会话，涵盖终端、笔记、代码编辑器、浏览器、即时通讯、邮件、表格和演示文稿等多种应用程序。该数据集通过全屏幕视频和逐节点帧捕获低层级的鼠标、键盘事件，推动了从规则驱动到数据驱动的界面代理研究范式，对自动化办公、人机交互和AI代理领域具有显著影响力。

当前挑战

该数据集面临的挑战首先体现在解决领域核心问题上，即如何在多应用协作的复杂界面环境中实现鲁棒的、可泛化的计算机使用代理，这要求代理能够理解动态界面变化、跨应用信息流转以及不同操作系统的交互差异。在构建过程中，合成数据生成的保真度是主要挑战，包括确保轨迹的因果一致性——通过低层级输入而非高层应用API来驱动模拟器状态变化，避免数据泄漏。此外，多公司经济模拟中的角色多样性、内容个性化以及跨组织消息传递增加了数据覆盖的难度，而36条轨迹相较于真实场景的分布仍显稀疏，如何高效扩展以覆盖长尾任务成为后续迭代的关键难点。

常用场景

经典使用场景

在智能体与图形用户界面交互的研究领域中，SynthUX Economy R4 W010数据集凭借其独特的合成多应用计算机使用轨迹，为探索GUI智能体在模拟企业环境中的行为提供了理想平台。该数据集完整记录了36条来自不同角色（如员工、经理）在6家模拟公司中的操作轨迹，涵盖终端、笔记、代码编辑器、浏览器、即时通讯、邮件等多类桌面应用的协同使用场景。每条轨迹均包含自然语言目标、细粒度的鼠标键盘事件流、屏幕录像及逐帧截图，使研究者能够系统分析智能体如何将高层任务拆解为底层操作序列，以及这些操作在不同操作系统环境（macOS、Windows、浏览器）中的执行差异。

实际应用

在实际部署场景中，该数据集可有效支撑企业级数字助理的研发与评测。例如，基于数据集中跨应用操作序列的分布特征，可训练能够完成薪资核算、审批流程串联、跨部门数据同步等复杂办公任务的AI代理。数据集中包含的跨操作系统轨迹（macOS/Windows/浏览器）尤其适用于测试智能体在异构设备环境中的适配能力。此外，记录中丰富的错误模式（如输入时序错乱、应用状态误判）可直接用于构建自动化GUI测试框架，帮助企业提前识别软件交互流程中的潜在缺陷，降低人工测试成本。

衍生相关工作

围绕SynthUX Economy数据集，学界已衍生出若干开创性研究：其一是在其轨迹数据基础上提出的多模态行为克隆方法，通过联合建模屏幕视觉特征与操作序列，实现了对新任务目标的零样本泛化；其二是基于其因果观察设计开发的故障恢复策略评估框架，系统检验了智能体在遭遇应用崩溃或状态跳变时的自愈能力；其三是在该数据集的微观经济场景激励下，催生了面向企业级任务规划的层次化强化学习方法，利用数据中节点树与底层事件的对齐关系，实现了从抽象目标到键盘操作的高效分解。这些工作共同推动了GUI智能体从学术原型向可靠工业系统的演进。