jacob-valdez/synthux-economy-r4-w005

SynthUX计算机使用数据集——经济模拟r4是由SynthUX生成的基于视觉的计算机使用轨迹数据集。每条记录代表一个模拟公司内员工的设备会话：目标扩展为节点树，终端节点通过低级别鼠标/键盘输入驱动真实桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频加上每节点帧。特点包括应用原生多应用程序执行（无工作台覆盖）、每参与者内容多样性、跨操作系统消息传递和大型多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。Grounded visual computer-use trajectories generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. App-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo.

搜集汇总

数据集介绍

构建方式

本数据集基于SynthUX框架生成，聚焦于模拟企业环境中的图形用户界面（GUI）代理行为。每条记录对应一名虚拟员工在模拟公司内的桌面设备会话，其过程为：将自然语言目标逐步展开为节点树结构，末端节点驱动真实的桌面模拟器应用（如终端、记事本、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），通过低层级鼠标与键盘操作执行任务，并记录完整的操作轨迹。数据集采用多应用原生执行方式，无工作台覆盖层，确保场景的真实性与多样性。

使用方法

数据集以JSONL格式提供核心记录文件data.jsonl，每条记录包含轨迹标识、参与者与公司信息、目标描述、节点树结构及输入事件序列。屏幕截图按轨迹与节点ID组织于screenshots目录，每帧对应末端节点的最后输入事件；完整屏幕录像以WebM格式存储于videos目录。开发者可通过加载JSONL文件解析轨迹结构，结合截图与录像数据进行多模态分析，适用于GUI代理的训练、行为模仿及跨应用任务规划研究。

背景与挑战

背景概述

SynthUX Computer-Use Economy Simulation数据集（synthux-economy-r4-w005）由SynthUX团队于近期构建，聚焦于多应用协同的图形用户界面（GUI）智能体研究。该数据集通过模拟多公司经济体系，生成了36条包含屏幕视频与逐节点帧的接地视觉计算机操作轨迹，每条轨迹对应模拟公司内一名员工的设备会话。其核心研究问题在于：如何在高保真桌面仿真环境中，通过低层级鼠标、键盘及脚本事件驱动终端节点树，实现跨应用（如终端、笔记、浏览器、邮件、电子表格等）的自主操作。该数据集强调应用原生多应用执行（避免工作台覆盖层）与跨操作系统消息传递，为GUI智能体的泛化能力与复杂工作流推理提供了稀缺的规模化基准，有望推动计算机使用智能体从单一应用走向多应用经济场景的实证研究。

当前挑战

该数据集面临多重挑战。在领域问题层面，它旨在解决GUI智能体在多应用协作中的泛化难题，例如智能体需在模拟公司中同时操作浏览器、终端及协作软件，并处理跨操作系统消息（macOS、Windows、浏览器环境），这要求模型具备跨界面模式理解与任务分解能力，而现有数据集多局限于单一应用或简化沙箱。在构建过程中，挑战在于：1) 确保轨迹的因果性——通过低层级输入事件（而非高级应用接口）驱动仿真，避免状态突变非一致性；2) 在有限轨迹数（36条）与帧数（897帧）下，覆盖6家公司的多样化角色与跨环境(e.g., browser-os与macos-web-next)操作，需平衡数据量级与内容多样性；3) 生成过程的复现性受限于SynthUX专用仿真管线（multicompany.day.v1），外部研究者难以低成本扩展或验证其经济模拟的逼真度。

常用场景

经典使用场景

在计算社会科学与人工智能交叉领域，评估多步骤、多应用协同任务的图形界面智能体已成为关键挑战。SynthUX Economy系列数据集为此类研究提供了高保真、多平台的运行轨迹资源。该数据集记录模拟公司中员工在桌面环境中执行复杂目标的完整过程，涵盖终端、笔记、代码编辑器、浏览器、即时通讯及邮件等多种应用程序的协同操作。每个轨迹均包含低层级的鼠标与键盘事件序列、对应的屏幕视频及状态截图，适用于训练与评测基于视觉的图形界面智能体在真实多应用场景中的规划与执行能力。其多公司、跨操作系统的设计更让研究者能在异构环境中检验智能体的泛化性。

解决学术问题

长期以来，图形用户界面智能体的研究受限于缺乏大规模、多应用、带细粒度标注的真实轨迹数据，尤其是涉及跨组织通信与多步骤经济模拟的场景。该数据集通过模拟六家不同公司的日常运作，构建了36条包含完整低层级事件、因果观测状态与节点对齐标注的轨迹，系统性地解决了三个学术难题：第一，提供了从自然语言目标到底层输入指令的端到端映射范例，支持可解释的规划-执行建模研究；第二，引入基于突变通道的因果观测机制，排除高层级应用干扰，为智能体环境感知与状态追踪提供了干净实验基准；第三，覆盖三种操作系统环境（浏览器OS及macOS/Windows的高保真模拟），为跨平台智能体的鲁棒性研究奠定了数据基础，有力推动了多步决策与多应用协调理论的发展。

实际应用

在企业自动化与数字劳动力管理的实践中，该数据集所蕴含的多应用协同轨迹具有直接的应用价值。首先，企业可利用这些数据训练内部图形界面智能体，使其能够模拟员工在供应链、财务管理及跨部门沟通中的典型操作流程，例如在电子邮件中提取订单信息并同步更新至电子表格，或通过即时通讯工具协调团队任务。其次，数据集中的多公司配置允许构建面向企业生态的决策系统，支持在保留各公司独立操作逻辑的同时，模拟跨组织的数据流动与资源协调。此外，开发人员可基于该数据构建面向办公自动化的测试基准，评估智能体在不同操作系统与应用程序版本下的适应性与错误恢复能力，进而提升自动化流程的鲁棒性。

数据集最近研究

最新研究方向

SynthUX Economy R4 W005数据集聚焦于模拟多公司经济环境下的计算机使用轨迹生成，通过合成数据推动GUI代理在复杂跨应用场景中的研究。前沿方向包括利用该数据集训练和评估能够自主执行多步骤桌面任务（如文档编辑、浏览器操作、跨平台消息传递）的视觉语言模型，结合屏幕视频与底层输入事件的对齐标注，探索低层级控制信号与高层级意图的映射机制。该数据集的模拟经济生态系统为研究人机协作中的工作流自动化和企业级AI助手提供了高度逼真的测试床，尤其在实时环境感知与跨应用上下文保持方面具有突破性意义。其开源特性促进了桌面自动化、多模态推理与具身智能交叉领域的发展，为未来通用型计算机智能体的鲁棒性训练奠定了数据基础。