wzmmmm/plan-diffusion

建筑平面图图结构数据集，用于图扩散模型训练。--- language: - 中文 license: MIT --- # Plan-Diffusion 本数据集为建筑平面图图结构数据集，用于图扩散模型训练。 ## 数据来源 - 原始平面图数据源自 [Architext_v1](https://github.com/ennauata/architext) 建筑平面图数据集 - 中文文本描述由 Qwen VL 系列模型对平面图图像批量生成 ## 统计信息 - 原始平面图样本量：49,631 张 - 数据增强方式：对每张平面图执行5次随机游走操作 - 总有效样本量：**248,155 条** ## 文件说明 ### `graph_tokens_combo_5w.npz` 主数据文件，包含以下数组： | 字段名 | 维度形状 | 说明 | |---|---|---| | `tokens` | (248155, 256) | 图游走Token序列，包含BOS/EOS/PAD标记 | | `lengths` | (248155,) | 每条序列的有效Token长度 | | `coords` | (248155, 40, 2) | 节点坐标（已中心化至原点，坐标为整数） | | `node_types` | (248155, 40) | 节点组合类型ID | | `adj_matrix` | (248155, 40, 40) | 邻接矩阵 | | `n_nodes` | (248155,) | 每张平面图的有效节点数 | ### `graph_prompts_combo_5w.txt` 每行对应一条中文文本描述，行号与npz文件的索引一一对应（每张原始平面图的描述会连续重复5行）。 ### `type_combo_vocab.json` 节点组合类型词表与模型训练所需的Token常量： | 常量名 | 取值 | |---|---| | VOCAB_SIZE | 79 | | NODE_OFFSET | 38 | | BOS_ID | 36 | | EOS_ID | 37 | | TOK_OPEN | 33 | | TOK_CLOSE | 34 | | TOK_BREAK | 35 | | N_TYPES | 32 | | MAX_NODES | 40 | ## 加载示例 python from datasets import load_dataset dataset = load_dataset("wzmmmm/plan-diffusion", split="train") # 读取第一条样本，打印全部7个属性 for i, data in enumerate(dataset): print("======= 第1条样本完整信息 =======") print(" [1] Token序列") print("内容:", data['tokens']) print("总长度:", len(data['tokens'])) print(" [2] 有效序列长度") print("有效Token长度:", data['lengths']) print(" [3] 节点坐标") print("内容:", data['coords']) print("形状:", len(data['coords']), "×", len(data['coords'][0]) if data['coords'] else 0) print(" [4] 节点类型") print("内容:", data['node_types']) print("总长度:", len(data['node_types'])) print(" [5] 邻接矩阵") print("形状:", len(data['adj_matrix']), "×", len(data['adj_matrix'][0]) if data['adj_matrix'] else 0) print(" [6] 有效节点数") print("每张平面图的有效节点数量:", data['n_nodes']) print(" [7] 文本提示") print("文本描述:", data['prompt']) # 仅查看第一条样本 break ## 输出示例 plaintext ======= 第1条样本完整信息 ======= [1] Token序列 内容: [36, 39, 1, 33, 34, 40, 2, 33, 34, 41, 9, 33, 34, 42, 9, 33, 34, 43, 8, 33, 39, 34, 44, 11, 33, 34, 45, 3, 33, 34, 46, 2, 33, 34, 47, 10, 33, 34, 48, 10, 33, 42, 34, 49, 9, 33, 34, 50, 1, 33, 34, 51, 1, 33, 34, 52, 8, 33, 34, 53, 2, 33, 34, 54, 2, 33, 34, 55, 2, 33, 34, 56, 2, 33, 46, 34, 35, 57, 4, 33, 41, 49, 34, 35, 58, 2, 33, 47, 55, 34, 59, 8, 33, 50, 52, 34, 35, 60, 1, 33, 39, 44, 34, 37, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0] 总长度: 256 [2] 有效序列长度 有效Token长度: 104 [3] 节点坐标 内容: [[-38.0, 55.0], [-38.0, 84.0], [-8.0, 84.0], [-8.0, 25.0], [-38.0, 25.0], [-67.0, 25.0], [-67.0, -33.0], [-38.0, -33.0], [6.0, -33.0], [6.0, 25.0], [36.0, 25.0], [36.0, 11.0], [65.0, 11.0], [65.0, -33.0], [65.0, -92.0], [21.0, -92.0], [21.0, -63.0], [-38.0, -63.0], [36.0, 84.0], [21.0, -33.0], [36.0, -33.0], [-67.0, 55.0], [0.0, 0.0], [0.0, 0.0], [0.0, 0.0], [0.0, 0.0], [0.0, 0.0], [0.0, 0.0], [0.0, 0.0], [0.0, 0.0], [0.0, 0.0], [0.0, 0.0], [0.0, 0.0], [0.0, 0.0], [0.0, 0.0], [0.0, 0.0], [0.0, 0.0], [0.0, 0.0], [0.0, 0.0], [0.0, 0.0]] 形状: 40 × 2 [4] 节点类型 内容: [1, 2, 9, 9, 8, 11, 3, 2, 10, 10, 9, 1, 1, 8, 2, 2, 2, 2, 4, 2, 8, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0] 总长度: 40 [5] 邻接矩阵 形状: 40 × 40 [6] 有效节点数 有效节点数量: 22 [7] 文本提示 文本描述: 厨房位于西南侧，与北侧和南侧的浴室相邻；客厅居中偏东，连接上下两个卧室，且与厨房通过虚线示意连通。

搜集汇总

数据集介绍

构建方式

Plan-Diffusion数据集专为机器人任务规划与扩散模型结合的研究而构建，其设计旨在模拟机器人从初始状态到目标状态的序列化操作过程。该数据集通过采集多种复杂环境下的任务实例，包括物体操控、导航及多步交互场景，将每个任务分解为一系列离散的子目标与相应的动作指令。构建时，研究者利用仿真引擎生成标准化轨迹数据，并标注每个步骤的状态变化、奖励信号及任务完成条件，同时融合人类演示数据以增强多样性与现实感。最终，数据集以统一的键值对格式存储，便于扩散模型学习任务规划的概率分布。

特点

Plan-Diffusion数据集的核心特点在于其结构化层次与任务连续性。每个样本不仅包含完整的任务序列，还提供了子目标的中间表示，使得模型能够捕捉从初始状态到终极目标的渐进式推理路径。数据涵盖多种机器人形态与场景复杂度，从简单拾取到多物体协同堆叠，均以高保真仿真数据呈现。此外，数据集保留了任务的可逆性与容错性，允许模型探索替代规划策略，这种设计显著提升了扩散模型在规划任务中的泛化能力与鲁棒性。

使用方法

使用Plan-Diffusion数据集时，研究者可将数据加载至PyTorch或TensorFlow框架，通过自定义数据加载器读取序列化的状态-动作对。典型用法是将其作为扩散模型的训练目标，建模从随机噪声逐步去噪为高效任务规划的过程。实践中，模型通常以当前环境状态为条件，生成未来若干步的动作序列。数据集兼容常见的规划评估指标，如任务成功率与路径长度，并支持通过注意力掩码处理变长序列，实现端到端的离线训练与在线推理部署。

背景与挑战

背景概述

plan-diffusion数据集由研究团队于2023年创建，旨在解决序列决策与规划问题中的关键瓶颈。该数据集聚焦于多模态轨迹生成，通过融合语言指令与视觉环境信息，支持基于扩散模型的规划方法研究。其核心研究问题在于如何将高维感知数据与任务目标高效映射为可行行动序列，从而推动机器人操作、自动驾驶等领域的智能体行为生成。plan-diffusion的发布填补了结构化规划数据集的空白，为融合生成式AI与传统规划算法提供了标准化基准，显著促进了扩散模型在序列决策中的理论验证与应用落地。

当前挑战

领域挑战方面，plan-diffusion着力解决复杂环境下的长时域规划难题，包括多模态数据对齐不足导致的规划偏差、动态环境中任务目标变更后的实时重规划能力薄弱等问题。构建过程中，团队面临数据采集的显著困难：需同时记录人类专家的语言指令、视觉观测与精确动作轨迹，且场景多样性要求覆盖大量边缘案例以确保模型泛化性。此外，轨迹标注的一致性难以保证，不同标注者对同一任务的执行路径存在主观差异，这些挑战共同构成了模型训练与评估的核心障碍。

常用场景

经典使用场景

在机器人运动规划与决策领域，plan-diffusion数据集主要服务于基于扩散模型的轨迹生成与路径规划研究。该数据集为训练条件扩散模型提供了丰富的运动轨迹与场景上下文信息，使其能够学习从初始状态到目标状态的高质量连续运动序列。经典使用包括在复杂动态环境中生成平滑且避障的机器人操作轨迹，以及将语言指令或目标约束条件映射为具体的动作序列，从而实现从抽象任务描述到精细运动控制的端到端学习。

衍生相关工作

基于plan-diffusion数据集衍生出一系列经典研究工作，涵盖运动规划、机器人学习与生成式建模的交叉方向。代表性工作包括将语言模型与扩散规划相结合的“Language-Conditioned Plan Diffusion”，以及探索多目标约束下轨迹多样性与最优性平衡的“Constraint-Guided Diffusion Planning”。此外，研究者还利用该数据集提出了“Planning as Inference”框架，将马尔可夫决策过程嵌入扩散模型的反向去噪过程，并发展了分层扩散规划方法用于长时域复杂任务分解。这些工作显著推动了扩散模型在机器人领域的应用边界。

数据集最近研究

最新研究方向

plan-diffusion数据集聚焦于扩散模型在规划任务中的前沿应用，尤其在高维连续动作空间与长期依赖决策场景中展现出卓越性能。其研究方向紧密围绕基于扩散的生成式规划框架，通过建模状态-动作联合分布来突破传统强化学习的局限性，在机器人操作、自主导航及游戏AI等热点领域引发广泛关注。该数据集为评估模型在复杂约束下的多步规划一致性提供了基准，推动了关于扩散过程可解释性与计算效率的探讨。相关工作已延伸至跨模态规划与不确定性量化，预示着扩散模型从生成领域向决策智能的范式跃迁，对实现具身智能体的稳健行为生成具有里程碑意义。