floverse-1.6k

# FloVerse Dataset FloVerse 是 CVPR 2026 论文 **《FloVerse: Floor Plan-Guided Multi-Modal Navigation》** 的配套数据集，面向户型图引导的多模态导航任务，提供场景户型图、密集语义标注与专家导航轨迹的三元组数据，可用于相关导航策略的训练与评测。 - 论文主页：https://wikiahuang.github.io/floverse/ - 论文链接：https://arxiv.org/pdf/2606.14267 - 代码仓库：Coming soon ## 数据集构建流程 1. **场景来源**：基于 [HM3D](https://aihabitat.org/datasets/hm3d/) 与 [Gibson](http://gibsonenv.stanford.edu/) 两个公开 3D 室内场景重建数据集构建。 2. **户型图生成**：针对每个场景生成对应的俯视二维户型图（floorplan），作为全局空间先验。 3. **语义标注增强**：引入 [SpatialLM](https://github.com/manycore-research/SpatialLM) 模型对场景内物体进行结构化语义解析，获得物体类别、位置等标注，丰富场景的语义表征。该步骤目前仅在 HM3D 场景上完成。 4. **专家轨迹采样**：在场景导航图上以 A* 算法规划并采样专家导航轨迹，记录轨迹中每个采样点的 agent 位姿及对应的 RGB-D 观测序列。 ## 任务类型 根据导航目标是否带有语义信息，数据集分为两类路径： | 类型 | 目标形式 | 对应目录 | |---|---|---| | 有语义目标 | 物体目标 / 图像目标导航（ObjectNav / ImageNav） | `*_with_obj` | | 无语义目标 | 点目标导航（PointNav） | `*_without_obj` | `with_obj` 目录下每条轨迹额外包含物体语义标注（`object.json`，含物体类别、ID、到达该物体时的 agent 位姿、户型图坐标等）；`without_obj` 不含物体标注。 ## 数据划分 数据集分为训练集（train）和测试集（eval），分别对应： - `train_with_obj` / `train_without_obj` - `eval_with_obj` / `eval_without_obj` 其中 `without_obj` 两个子集按场景来源进一步分为 `Gibson_4+` 和 `HM3D` 两个子目录；`with_obj` 由于物体语义标注（步骤3）目前仅在 HM3D 场景上完成，因此场景全部来自 HM3D。 ## 数据规模统计 | 指标 | train · HM3D | train · Gibson 4+ | eval · HM3D | eval · Gibson 4+ | |---|---|---|---|---| | 场景数 | 1,321 | 121 | 167 | 18 | | episode 总数 | 198,150 | 18,150 | 25,050 | 2,700 | | IO episode 数 | 65,700 | - | 8,550 | - | > IO（ImageNav / ObjectNav）episode 即 `with_obj` 子集，目前仅在 HM3D 场景上构建。 ## 存储格式说明 数据集原始文件数量规模较大（单个数据集子集文件数可超过千万），为满足平台单仓库文件数量限制，数据以**场景为单位打包为 `.tar` 文件**上传。下载后需自行解压（`tar -xf scene_id.tar`）。 ## 数据集结构 仓库整体目录结构（按场景打包为 `.tar`）： ``` floverse-1.6k/ ├── train_with_obj/ # 训练集 · 有语义目标（场景直接平铺，均来自 HM3D） │ ├── 00000-kfPV7w3FaU5_0.tar │ ├── 00000-kfPV7w3FaU5_1.tar │ └── ... ├── train_without_obj/ # 训练集 · 点目标（按场景来源分组） │ ├── Gibson_4+/ │ │ ├── 00002-FxCkHAfgh7A_1.tar │ │ └── ... │ └── HM3D/ │ ├── 00007-UQuchpekHRJ_0.tar │ └── ... ├── eval_with_obj/ # 测试集 · 有语义目标（场景直接平铺，均来自 HM3D） │ ├── 00002-FxCkHAfgh7A_1.tar │ ├── 00007-UQuchpekHRJ_0.tar │ └── ... └── eval_without_obj/ # 测试集 · 点目标（按场景来源分组） ├── Gibson_4+/ │ ├── Albertville_1.tar │ ├── Beach_0.tar │ └── ... └── HM3D/ ├── 00002-FxCkHAfgh7A_1.tar ├── 00007-UQuchpekHRJ_0.tar └── ... ``` 单个场景 tar 包内部结构（以 `train_with_obj/00000-kfPV7w3FaU5_0.tar` 为例）： ``` 00000-kfPV7w3FaU5_0/ ├── floorplan.png # 该场景的户型图 ├── traj_0/ # 第 0 条专家轨迹 │ ├── rgb/ # 轨迹各采样点的 RGB 观测 │ │ ├── rgb_0.png │ │ └── ... │ ├── depth/ # 轨迹各采样点的深度观测 │ │ ├── depth_0.png │ │ └── ... │ ├── object/ # 物体语义标注（仅 with_obj 含此目录） │ │ └── object.json # 物体类别、ID、到达该物体时的 agent 位姿、户型图坐标等 │ ├── traj_0.npy # 轨迹逐点位姿（x, y, z, heading） │ ├── traj_0.png # 轨迹在户型图上的可视化 │ └── traj_0.txt # 轨迹逐点位姿（文本格式，与 .npy 对应） ├── traj_1/ │ └── ... └── ... ``` ## Citation 如果该数据集对您的研究有帮助，请引用以下论文： ```bibtex @inproceedings{huang2026floverse, title={FloVerse: Floor Plan-Guided Multi-Modal Navigation}, author={Huang, Weiqi and Dong, Shuangyi and Li, Jiaxin and Guo, Yifei and Wang, Zan and Liang, Wei}, booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition}, year={2026} } ```