jacob-valdez/synthux-economy-pilot-w001

SynthUX计算机使用数据集——经济模拟试点，包含由SynthUX生成的基础视觉计算机使用轨迹。每个记录代表一个模拟公司内工人的设备会话：目标扩展为节点树，终端节点通过低级鼠标/键盘输入驱动真实桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频和每节点帧。该数据集支持应用原生多应用程序执行（无工作台覆盖）、每参与者内容多样性、跨操作系统消息传递和大规模多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。Grounded visual computer-use trajectories generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. App-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo.

搜集汇总

数据集介绍

构建方式

该数据集源自SynthUX生成框架，聚焦于模拟企业内部的多应用桌面操作轨迹。每条记录对应一名员工在虚拟公司环境中的一次设备会话，涵盖从自然语言目标到具体操作执行的完整流程。构建过程中，初始目标被逐步分解为节点树，叶节点通过低层级鼠标与键盘指令驱动模拟桌面应用，包括终端、记事本、代码编辑器、浏览器、即时通讯、邮件及办公套件等。轨迹以屏幕视频及逐节点静态帧的形式被精准记录，确保操作序列的可追溯性与因果一致性。

使用方法

数据集以标准格式组织，主文件data.jsonl存储所有轨迹元数据及事件序列，screenshots目录按轨迹和节点ID存放对应时刻的屏幕截图，videos目录提供完整的屏幕录制视频。用户可从JSONL文件中提取每条轨迹的actor、company、goal及操作树信息，结合视觉数据用于训练或评测GUI Agent。因果模拟器的状态仅依赖低层输入演变，适合用于构建端到端的操作理解与模仿学习模型。

背景与挑战

背景概述

SynthUX经济模拟计算机使用数据集于近年由研究团队开发，旨在突破传统GUI智能体研究中对真实多应用交互轨迹的缺失。该数据集依托SynthUX框架，在模拟企业内部生成包含多角色、多公司、多操作系统的密集鼠标键盘操作轨迹，涵盖终端、笔记、代码编辑器、浏览器、即时通讯、邮件及办公套件等多样化应用生态。通过将自然语言目标分解为节点树并驱动底层模拟器，数据集提供了因果关联的屏幕视频与逐帧图像，为计算机使用智能体的行为学习与泛化研究奠定了重要基础。其多公司经济模拟结构独特，为复杂工作流中的自主代理研究提供了前所未有的细粒度标注资源。

当前挑战

数据集面临的核心领域挑战在于构建能够理解并执行跨应用、跨平台复杂工作流的通用GUI智能体，这要求模型具备从稀疏视觉信号中推断高层用户意图的能力，并在动态多任务场景中保持鲁棒性。构建过程中，挑战在于生成因果一致的低级输入轨迹与高层语义目标的对应关系，确保每个动作序列在模拟器内产生可复现的原子级状态变化，同时维持多公司、多角色环境下内容与行为的多样性，避免数据偏差。此外，可扩展至大规模经济模拟的计算开销与跨操作系统异构环境的精确模拟，也是数据集构建技术的重要考验。

常用场景

经典使用场景

在图形用户界面（GUI）智能代理的研究领域，SynthUX Economy Pilot数据集为多应用、跨平台的计算机使用行为建模提供了珍贵的视觉轨迹资源。该数据集精心记录了模拟经济体中不同角色的工作者在真实桌面模拟器（如终端、浏览器、办公套件）上的操作序列，涵盖从自然语言目标到低层级鼠标键盘交互的完整映射。研究者可基于每项轨迹的屏幕视频、逐帧截图及细粒度输入事件，训练能够理解并模拟人类多应用协作流程的GUI代理模型，或开发用于自动任务编排与界面操作预测的算法，从而推动人机交互智能化的边界拓展。

解决学术问题

该数据集直面现有GUI代理研究中多应用协同与跨平台场景的稀缺性挑战，系统性地解决了模拟复杂组织环境中多任务、多软件并行操作的行为数据匮乏问题。通过构建包含多公司经济体的模拟生态，并记录角色身份、组织层级与目标分解树等元信息，它使得研究者能够探索工作流中的角色依赖性、应用间消息传递机制以及操作路径的因果对齐关系。这一资源弥合了单个应用操作研究与企业级数字工作流理解之间的鸿沟，为析解人类真实计算机使用中的策略规划、错误恢复与效率优化提供了坚实的实验基础。

实际应用

在实际应用层面，SynthUX Economy Pilot数据集为企业数字助手与自动化测试系统的研发注入了关键动力。基于其高质量的多应用操作轨迹与跨平台屏幕记录，工程师可以训练出能够精准执行跨应用任务（如从邮件中提取数据并更新电子表格）的虚拟员工，显著提升办公流程的自动化水平。同时，该数据集为软件界面的可用性测试提供了可复现的基准：通过对比模型预测操作路径与人类真实轨迹的差异，能够自动识别UI设计中的摩擦点，辅助产品团队优化交互体验。此外，金融、客户服务等行业的模拟培训环境亦可从中受益，利用丰富的场景数据增强虚拟角色的行为真实性。

数据集最近研究

最新研究方向

该数据集聚焦于合成多应用桌面环境下的GUI代理行为建模，通过模拟企业经济生态中不同角色的计算机操作轨迹，为自主代理在复杂跨应用任务中的视觉-动作对齐研究提供了高保真数据支撑。其独特的节点树展开架构结合低层级鼠标键盘事件录制，开创了从自然语言目标到可复现桌面交互的端到端映射研究范式，尤其适用于探索多智能体协作、跨平台操作一致性以及企业级工作流自动化等前沿方向。随着大模型驱动的GUI代理在生产力工具中的普及，该数据集为评估代理在真实动态环境中的适应性与鲁棒性建立了关键基准。