jacob-valdez/synthux-economy-r3-w021

SynthUX计算机使用数据集（经济模拟r3）是一个基于模拟公司环境的视觉计算机使用轨迹数据集。它通过SynthUX生成，记录员工在模拟设备会话中的操作过程，包括将自然语言目标扩展为节点树，终端节点通过低级鼠标/键盘输入驱动真实桌面模拟应用程序（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），并捕获观察轨迹作为屏幕视频及每个节点的帧。数据集支持应用原生多应用程序执行（无工作台覆盖），提供每参与者内容多样性、跨操作系统消息传递和大规模多公司经济模拟。每个经济模拟作为独立的数据集存储库发布。内容包含数据记录文件（data.jsonl）、每个轨迹的截图（按节点ID组织）和完整屏幕录制视频。记录模式涵盖轨迹ID、参与者信息（如演员ID、公司、角色ID、职位）、模拟器环境（macos-web-next、windows-web-next、browser-os）、目标、节点树、密集低级输入事件、因果模拟器状态观察、对齐链接以及媒体引用。本构建版本包含36个轨迹、978个帧、涉及6家公司，环境分布为browser-os（17个）、macos-web-next（10个）和windows-web-next（9个）。数据生成使用SynthUX工具，观察基于因果模拟器状态（突变通道为低级输入），捕获过程中未使用高级应用程序突变。The SynthUX Computer-Use Dataset — economy sim r3 is a dataset of grounded visual computer-use trajectories generated by SynthUX in a simulated company environment. Each record represents one workers device session, where a natural-language goal expands into a node tree, terminal nodes drive real desktop-simulator applications (such as Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, etc.) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. The dataset features app-native multi-application execution (without a workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repository. Contents include a data record file (data.jsonl), screenshots per trajectory organized by node IDs, and full screen recording videos. The record schema covers trajectory ID, participant information (actor ID, company, role ID, title), simulator environment (macos-web-next, windows-web-next, browser-os), goal, node tree, dense low-level input events, causal simulator state observations, alignment links, and media references. This build includes 36 trajectories, 978 frames, and 6 companies, with environment distribution: browser-os (17), macos-web-next (10), and windows-web-next (9). The data is generated using SynthUX, with observations based on causal simulator states (mutation channel = low-level input) and no high-level app mutation used during capture.

搜集汇总

数据集介绍

构建方式

该数据集源自SynthUX框架，其构建方式独特且贴近真实场景：每一条轨迹记录对应模拟公司中一名员工的设备会话。给定一个自然语言描述的目标后，该目标被逐步展开为一棵节点树，终端节点驱动底层模拟器应用（如终端、笔记、VS Code、浏览器、邮件、表格等）执行低层级的鼠标与键盘操作。整个完整轨迹被记录为屏幕视频及每个终端节点对应的截图帧。所有观测状态严格遵循因果性，仅通过底层输入通道进行变异，不依赖高层应用接口，确保了数据的真实性与可复现性。

使用方法

该数据集的使用方式简便且灵活：所有数据以JSON格式存储于data.jsonl文件中，每条记录包含唯一的轨迹ID、执行者身份、公司信息、目标文本、完整的节点树结构、密集的输入事件序列及因果观测状态。视觉数据方面，每个轨迹对应一个WebM格式的完整屏幕录像，同时每个终端节点有一张PNG格式的截图，便于进行帧级别的可视化分析与模型训练。研究者可根据轨迹ID或环境类型进行筛选，也可直接加载JSONL文件结合多媒体文件进行多模态学习，适用于训练GUI智能体、评估计算机使用能力或分析多应用协同操作行为。

背景与挑战

背景概述

在图形用户界面（GUI）代理与计算机使用自动化领域，合成数据生成技术正日益成为推动智能体训练与评估的关键手段。SynthUX Computer-Use数据集（economy sim r3）由SynthUX团队于近期创建，聚焦于多应用协同的复杂企业模拟场景。该数据集创新性地模拟了包含多家公司、跨操作系统消息传递与多角色分工的经济体系，通过将自然语言目标分解为节点树，并驱动终端、代码编辑器、浏览器、办公套件等桌面应用，生成低层级鼠标与键盘输入轨迹。数据以屏幕视频与逐节点帧图像形式记录，为研究GUI代理在真实多应用环境中的自主决策与执行能力提供了高质量基准，对推动人机交互与智能体研究具有重要影响力。

当前挑战

该数据集所应对的核心领域挑战在于，现有GUI代理研究多局限于单一应用或简化环境，难以反映实际企业场景中多应用切换、跨系统通信与复杂任务链的复杂性。SynthUX通过模拟多公司经济体系与多角色分配，迫使代理在多样化内容与任务依赖中做出精准操作，从而检验其泛化与鲁棒性。构建过程中，挑战包括如何确保每个工作会话的轨迹因果一致性——仅通过低层级输入驱动状态变化，避免高层应用突变干扰；如何实现在macOS、Windows与纯浏览器环境间的跨平台执行差异适配；以及如何在有限轨迹数量（36条）与帧数（978帧）下，保持内容多样性以覆盖足够的企业运营场景，从而平衡数据规模与模拟真实度。

常用场景

经典使用场景

在人工智能与具身智能的交叉领域，SynthUX-Economy-R3-W021数据集为研究多代理协作下的图形用户界面（GUI）自主操控提供了高度仿真的实验平台。该数据集通过模拟企业内部的多角色、多应用工作流，生成了涵盖终端模拟器、代码编辑器、邮件客户端及即时通讯软件等跨应用操作轨迹。研究者可借助其丰富的屏幕录像、逐帧截图及低层级输入事件记录，训练具备序列决策能力的GUI智能体，使其能够在复杂的多窗口环境中，依据自然语言目标完成诸如数据录入、跨平台信息检索及会议安排等典型办公任务。这种基于真实应用生态的合成轨迹，有效弥补了传统仿真环境与真实用户操作之间的鸿沟。

解决学术问题

该数据集精准击中了当前GUI智能体研究中的两个核心瓶颈：一是多应用协同场景下稀疏奖励信号的困境，二是跨平台操作逻辑的泛化难题。通过提供逐节点对齐的因果状态与事件序列，它使得研究者得以探索层级式任务分解与规划（如将‘撰写季度预算报告’拆解为调用表格软件、查阅邮件附件、生成演示文稿等子目标）的算法框架。相较于仅关注单一应用的基准数据集，本数据天然内置了企业级上下文切换与权限管理挑战，为开发能够在真实操作系统间无缝迁移的策略模型（如基于Transformer的记忆增强网络）提供了关键验证场。其发布推动了从视觉感知到因果推理的范式演进，使学术讨论不再局限于点击预测准确率，而扩展至任务完成率与操作效率的联合优化。

实际应用

在实际部署层面，该数据集直接服务于企业级自动化场景，例如金融行业的合规审计流程、医疗机构的跨系统患者档案管理，以及制造业的供应链协同监控。通过模仿数据集中的多公司经济模拟轨迹，企业可构建具备会话记忆与错误恢复能力的数字员工，使其能在Outlook、Slack与SAP等异构系统间自主执行数据同步、预警分发与流程审批。此外，该数据对跨操作系统（macOS、Windows、浏览器）的覆盖，使得开发一次训练即可部署至多人终端环境的统一机器人流程自动化（RPA）解决方案成为可能。在客服领域，基于这些轨迹训练的GUI代理还能辅助处理需要同时操作CRM与后台订单系统的复杂工单，显著降低人工介入频次。

数据集最近研究

最新研究方向

SynthUX Economy R3数据集聚焦于多应用协作的图形用户界面智能体研究，通过模拟企业内部多角色、跨平台的桌面操作轨迹，为计算机使用智能体提供了细粒度的视觉与低层输入对齐数据。该数据集的前沿应用在于推动大规模、多公司经济模拟中的自主智能体训练，尤其关注基于因果观察的闭环任务执行，避免了高级应用突变干扰。其设计呼应了当前AI系统从单一应用到复杂生态环境的演进趋势，为GUI智能体的行为可解释性、跨OS兼容性及多目标规划研究奠定了基准，对提升自动化办公、企业流程模拟等场景的智能体鲁棒性具有里程碑意义。