jacob-valdez/synthux-economy-r4-w056

SynthUX计算机使用数据集—经济模拟r4是一个基于SynthUX生成的视觉计算机使用轨迹数据集。每个记录代表一个工人在模拟公司内的设备会话：目标扩展为节点树，终端节点通过低级鼠标/键盘输入驱动真实桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频和每节点帧。数据集支持应用原生多应用执行（无工作台覆盖）、每参与者内容多样性、跨操作系统消息传递和大规模多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。SynthUX Computer-Use Dataset — economy sim r4 is a grounded visual computer-use trajectories generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. It features app-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo.

搜集汇总

数据集介绍

构建方式

本数据集基于SynthUX框架构建，模拟了企业内部多员工在真实桌面环境中的计算机使用轨迹。每个记录代表一位员工在一次设备会话中的完整操作流程：自然语言目标被分解为节点树，终端节点通过低层级鼠标与键盘输入驱动模拟器中的原生应用程序（包括终端、笔记、代码编辑器、浏览器、即时通讯、邮件、表格与演示文稿等）。所有操作均在真实桌面模拟器上执行，无叠加工作台干预，并同步录制为屏幕视频及逐节点截图，最终形成结构化的多应用交互数据集。

使用方法

数据集以JSON Lines格式存储于data.jsonl文件中，每条记录包含轨迹ID、目标文本、节点树、输入事件序列与观察状态等结构化字段。配套提供逐节点PNG截图（screenshots/目录）与完整屏幕录像（videos/目录），便于多模态研究。用户可直接加载JSON记录进行低层级操作分析或GUI代理训练，亦可结合图像与视频数据开展视觉-动作联合建模。推荐通过Hugging Face Datasets库进行流式读取，或按需解析index.json文件实现高效检索与加载。

背景与挑战

背景概述

SynthUX Computer-Use (economy sim) 数据集创建于2023年，由多机构联合团队开发，聚焦于合成环境下多应用计算机操作轨迹的生成与研究。该数据集通过模拟真实公司内部的多重角色（如员工、经理）协同工作场景，重现了用户在操作系统层级的完整交互流程，涵盖终端、代码编辑器、浏览器、邮件及办公套件等核心应用。其核心研究问题在于如何利用合成数据驱动图形用户界面（GUI）智能体的训练，以理解并执行跨应用程序的复杂任务序列。该工作对自动化和人机交互领域产生了显著影响，为构建具备多应用协同能力的自主智能体奠定了数据基础。

当前挑战

该数据集面临的核心挑战包括：1）领域内，GUI智能体在复杂多应用环境中的泛化能力不足，现有模型难以从静态截图理解动态任务目标，且跨操作系统（如macOS与Windows）的行为差异显著增加了迁移学习的难度。2）构建过程中，合成数据的真实性与多样性平衡极为困难，需确保每个模拟角色生成的轨迹既遵循合理的工作流程，又包含足够变化的低层输入事件（如鼠标轨迹与键盘序列），防止模型过拟合于特定模式。此外，因果状态的精确记录要求在低层输入事件级别保持观测的一致性，任何高层面应用接口的直接调用均被禁止，这大幅提升了数据采集系统的设计复杂度与计算开销。

常用场景

经典使用场景

在图形用户界面（GUI）智能体研究领域，SynthUX Economy模拟数据集为多应用协同操作的智能体训练提供了高质量的地面实况轨迹。该数据集记录了模拟企业中不同角色员工在多种桌面应用（如终端、笔记、代码编辑器、浏览器、即时通讯、邮件和办公套件）之间进行跨应用操作时的完整屏幕视频与逐节点帧图像。研究人员可利用这些数据训练能够理解自然语言目标、并将其分解为细粒度鼠标键盘操作的视觉语言模型，是评估和提升GUI智能体在复杂多应用环境下任务执行能力的经典基准。

解决学术问题

该数据集有效解决了当前GUI智能体研究中的两个核心学术痛点：一是缺乏跨应用、多窗口、真实企业场景的高质量标注轨迹数据，二是现有数据集往往依赖于单应用环境或模拟工作台覆盖层，无法反映原生多应用间的真实交互复杂性。通过提供包含6家公司、36条完整轨迹、近800帧带时间戳的因果状态观察，SynthUX Economy数据集使得研究人员能够深入探讨智能体在异构应用生态中的任务规划、状态追踪和错误恢复机制，推动了GUI自主操作从单应用到跨组织协同的范式跃迁。

实际应用

在实际应用层面，该数据集训练出的GUI智能体可直接部署于企业自动化场景，例如自动化处理跨部门审批流程（从邮件获取审批请求、在Slack中通知负责人、在电子表格中更新状态并生成汇报幻灯片）、自动完成财务对账与报告生成、以及模拟新员工入职时的多系统配置操作。这些应用能显著降低企业重复性劳动的人力成本，提升跨系统操作的一致性与可追溯性，尤其适合于需要高度安全性和可审计性的金融、制造和科技企业的运营支持系统。

数据集最近研究

最新研究方向

该数据集聚焦于模拟企业环境中多应用协同的桌面图形界面代理行为，通过合成轨迹记录低层级鼠标与键盘交互，为计算机使用智能体的研究提供了高保真的多模态训练与评估基准。其独特之处在于构建了跨操作系统、多角色、多公司的经济模拟生态，使得智能体学习不仅局限于单一应用操作，而是涵盖如终端、代码编辑器、浏览器、通讯与办公套件等复杂工作流的连贯执行。这项研究紧密关联了当下GUI智能体从实验室封闭场景向真实企业流程自动化的前沿探索，尤其推动了经济模拟、分布式任务规划与跨平台人机协作范式的发展，为构建具备环境适应性与任务分解能力的下一代人机协同系统奠定了关键的数据基石。