jacob-valdez/synthux-economy-r4-w050

SynthUX计算机使用数据集——经济模拟r4，由SynthUX生成的基于视觉的计算机使用轨迹。每个记录代表一个工人在模拟公司内的设备会话：一个目标扩展为节点树，终端节点通过低级鼠标/键盘输入驱动真实桌面模拟器应用（终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察轨迹被记录为屏幕视频加上每个节点的帧。特点包括应用原生多应用执行（无工作台覆盖）、每个参与者内容多样性、跨操作系统消息传递和大规模多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。Grounded visual computer-use trajectories generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. App-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo.

搜集汇总

数据集介绍

构建方式

本数据集源自SynthUX框架，专注于模拟多公司经济体系下的图形用户界面代理交互行为。其构建方式独具匠心：每一份记录对应一名虚拟员工在仿真公司内的设备会话，自然语言目标被递归展开为节点树，终端节点通过低层级鼠标与键盘输入驱动真实桌面模拟器应用（如终端、笔记、代码编辑器、浏览器、即时通讯工具、邮件、电子表格及演示文稿等），并完整记录观测到的轨迹。每条轨迹均以屏幕视频及逐节点帧图像的形式保存，数据收录于JSON Lines文件，帧图像与视频分别存放于独立目录，确保了数据结构的高度组织性。

使用方法

使用本数据集时，研究者可通过解析`data.jsonl`文件获取每条轨迹的元数据，包括代理身份、所属公司、角色、目标及完整的节点树信息。轨迹的低层级输入事件以时间戳序列记录，并与观测状态及节点标识符建立对齐链接，便于按需截取与分析。屏幕视频（WebM格式）与逐节点帧图像（PNG格式）为视觉行为研究提供了直观素材。数据集可广泛应用于计算机使用代理的训练与评估、多应用交互工作流分析以及界面行为建模等领域，其开放的Apache-2.0许可证进一步降低了使用门槛。

背景与挑战

背景概述

随着图形用户界面（GUI）智能体技术的快速发展，如何通过真实且多样化的计算机操作轨迹数据驱动模型学习，已成为人机交互与人工智能交叉领域的关键课题。SynthUX Computer-Use (economy sim) 数据集由SynthUX团队于近期创建，旨在填补多应用、跨操作系统场景下细粒度计算机操作数据的空白。该数据集通过模拟公司内部经济系统，生成包含目标分解、节点树执行及底层鼠标键盘事件的全流程轨迹，覆盖macOS、Windows及浏览器操作系统，并融合跨应用协作（如终端、编辑器、邮件、表格等）与多公司经济生态。其发布为GUI智能体的训练与评估提供了高保真、结构化的基准资源，对推动自动化办公、软件测试及人机协同等研究方向具有重要意义。

当前挑战

该数据集面临的挑战主要来自领域问题与构建过程两个方面。在领域问题层面，现有计算机操作数据多局限于单应用或单一操作系统，难以支撑跨平台、多任务场景下智能体的泛化能力；同时，真实操作轨迹的采集成本高昂且隐私风险大，导致可用数据稀疏。在构建过程中，如何在模拟环境中生成既保持自然操作语义又具备内容多样性的轨迹是一大难点，需要平衡目标复杂性与执行可行性。此外，跨应用状态同步、低层级输入事件的因果记录以及多公司经济系统的可扩展性，均对数据生成框架的鲁棒性与计算开销提出了严苛要求。

常用场景

经典使用场景

SynthUX Economy-R4-W050数据集专为计算机使用场景下的多应用协同任务而设计，其核心应用在于模拟企业环境中复杂的工作流执行。研究者可利用该数据集训练和评估图形用户界面智能体（GUI Agent），使其能够通过低级别的鼠标与键盘操作，在终端、笔记、代码编辑器、浏览器、即时通讯及邮件等桌面应用程序之间无缝切换与执行任务。该数据集以自然语言目标驱动，每一轨迹均包含完整的屏幕录像与逐节点帧，为构建端到端的可操作视觉语义理解模型提供了绝佳的试验平台。此外，在模拟多公司经济体系的背景下，该数据集特别适合用于探索智能体在不同组织架构与跨操作系统环境中的泛化能力与鲁棒性。

解决学术问题

该数据集精准地填补了现有计算机使用行为研究中高质量、多域同步轨迹数据的空白。传统数据集多局限于单一应用的简单操作记录，难以反映真实办公环境下跨应用、多模态交互的复杂性。SynthUX通过引入多公司经济模拟的因果观测机制，使研究者能够从因果推断角度解析低层输入事件与高层任务目标之间的映射关系，从而推动基于视觉的意图理解、任务分解、以及环境动态适应等核心学术议题的进展。其意义在于为构建可泛化、可解释且具备鲁棒性的通用GUI智能体提供了可控且具备结构化的数据基础。

实际应用

在实际产业应用中，该数据集可直接赋能自动化办公助手与数字员工平台，尤其是在企业级软件生态中实现跨应用的复杂流程自动化。例如，它可用于训练能够模拟新员工完成入职流程的AI系统，该系统需同时操作邮件、日历、团队沟通工具和人事系统。同样，在软件测试领域，可基于该数据集开发能够自主执行用户验收测试脚本的智能测试代理，显著提升测试覆盖率和回归效率。此外，通过对多公司经济模拟轨迹的深度学习，能够构建出更为逼真的用户行为模拟器，用于产品设计阶段的交互原型评估。

数据集最近研究

最新研究方向

SynthUX Economy R4 W050数据集聚焦于多应用桌面环境的图形用户界面（GUI）代理研究，通过模拟多公司经济体系生成结构化计算机使用轨迹。该数据集以前沿的合成数据生成技术，捕获跨操作系统（macOS、Windows、浏览器）的鼠标、键盘及脚本交互，支持视觉智能代理在终端、笔记、代码编辑器、办公套件等真实应用中的多任务执行。其核心突破在于提供因果关联的屏幕录像与节点级帧图，解决了传统GUI代理训练中自然语言目标与底层操作语义对齐的瓶颈。该研究呼应了近期企业自动化与数字孪生热点，通过逼真的跨组织协作场景（如跨部门通讯、电子表格协同），为构建可泛化的计算机使用代理奠定了基准，推动了人机交互从任务特定脚本向通用问题解决范式的演进。