360 dataset

该数据集是通过使用HM3D和Replica纹理网格数据集制作的360度数据集。它包括HM3D的训练和验证集，以及Replica的训练和验证集。数据集的生成涉及下载GLB和habitat文件，以及pointnav文件，并进行解压和目录结构调整。

This 360° dataset is constructed using the HM3D and Replica textured mesh datasets. It comprises the training and validation splits of both the HM3D and Replica datasets. The generation process of this dataset involves downloading GLB, Habitat, and PointNav files, followed by decompression and directory structure adjustment.

原始信息汇总

数据集准备

环境设置

• 创建并激活虚拟环境：

  conda create -n dataset360 python=3.7 conda activate dataset360

• 安装依赖：

  • 安装 habitat-lab 版本 0.2.2：

    pip install git+https://github.com/facebookresearch/habitat-lab.git@v0.2.2

  • 安装 habitat-sim 版本 0.2.2：

    conda install habitat-sim=0.2.2 headless -c conda-forge -c aihabitat -y

    或者从本地文件安装：

    conda install --use-local habitat-sim-0.2.2-py3.7_headless_bullet_linux_011191f65f37587f5a5452a93d840b5684593a00.tar.bz2

数据集获取

• 从官方网站 HM3D 获取访问权限。

• 下载 HM3Dv0.1 数据集：

  1. 下载这些 GLB+habitat 文件： hm3d-train-glb.tar hm3d-train-habitat.tar hm3d-val-glb.tar hm3d-val-habitat.tar

  2. 下载 pointnav 文件： wget https://dl.fbaipublicfiles.com/habitat/data/datasets/pointnav/hm3d/v1/pointnav_hm3d_v1.zip

  3. 解压文件

数据集结构

• HM3D: OBJ+Habitat

  ROOT/dataset/hm3d/train ROOT/dataset/hm3d/val

• HM3D: Pointnav

  ROOT/pointnav/hm3d/train ROOT/pointnav/hm3d/val

• Replica: OBJ+Habitat

  ROOT/replica/train ROOT/replica/val

• Replica 没有 Pointnav，预处理后的 episodes 文件位于 data_readers/scene_episodes/replica_test/ 目录下。

数据集生成

• 修改 base_dir 路径：

  revise base_dir to your paths of dataset_generation.configs.options.py respectively for HM3D and Replica.

• 生成 HM3D 数据集：

  bash generate_hm3d_train.sh

• 转换数据集：

  conda activate splat360 python convert_cubemaps_mp.py python convert.py

注意事项

• 生成的随机轨迹与实际生成的数据集不同。

搜集汇总

数据集介绍

构建方式

360 dataset的构建基于HM3D和Replica数据集，通过Habitat仿真平台生成。首先，从Matterport官方网站获取HM3D数据集的访问权限，并下载包含GLB和Habitat文件的训练与验证集。随后，通过Habitat-sim和Habitat-lab工具，结合预处理的点导航数据，生成场景的随机轨迹。此外，Replica数据集的场景也被整合，其预处理后的场景片段存储在指定目录中，最终通过脚本生成完整的360度数据集。

特点

该数据集的显著特点在于其结合了HM3D和Replica两个高质量的三维场景数据集，提供了丰富的室内环境样本。通过Habitat仿真平台，数据集不仅包含了静态的三维模型，还生成了动态的导航轨迹，适用于多种基于场景理解的深度学习任务。此外，数据集的构建过程中采用了随机轨迹生成策略，确保了数据的多样性和覆盖性。

使用方法

使用360 dataset时，首先需通过conda创建并激活相应的Python环境，并安装必要的依赖包如Habitat-sim和Habitat-lab。接着，根据提供的脚本下载并解压HM3D和Replica数据集，调整配置文件中的路径以匹配本地存储位置。最后，运行生成脚本以完成数据集的构建，并可根据需求调整随机轨迹的生成参数，以适应不同的研究或应用场景。

背景与挑战

背景概述

360 dataset是由Facebook Research团队开发的一个用于360度全景图像和点导航任务的数据集，主要基于HM3D（Habitat Matterport 3D）和Replica数据集。该数据集的创建旨在推动虚拟环境中的导航和感知研究，特别是针对3D场景中的点导航任务。HM3D数据集提供了高质量的3D场景模型，而Replica数据集则提供了详细的室内场景数据。通过结合这些数据源，360 dataset为研究人员提供了一个丰富的实验平台，以探索在复杂3D环境中进行导航和感知的挑战。该数据集的构建不仅增强了虚拟环境中的AI研究，还为未来的智能体导航技术奠定了基础。

当前挑战

360 dataset在构建过程中面临了多个挑战。首先，整合HM3D和Replica数据集需要解决不同数据格式和场景结构之间的兼容性问题。其次，生成随机轨迹和点导航数据时，确保数据的多样性和代表性是一个复杂的过程，需要精确的算法和大量的计算资源。此外，数据集的生成还依赖于特定的硬件环境（如EGL），这增加了部署的复杂性。最后，数据集的规模和复杂性要求高效的存储和处理方案，以确保研究人员能够快速访问和利用这些数据。

常用场景

经典使用场景

360 dataset 主要用于增强现实（AR）和虚拟现实（VR）领域的研究，特别是在环境感知和导航任务中。该数据集通过提供高精度的3D环境模型和点导航数据，支持机器学习模型在复杂场景中的路径规划和环境理解。其经典使用场景包括但不限于机器人导航、自动驾驶仿真以及虚拟环境中的智能体行为模拟。

解决学术问题

360 dataset 解决了在复杂3D环境中进行精确导航和路径规划的学术难题。通过提供高质量的3D模型和预处理的导航数据，该数据集显著降低了研究者在构建和标注数据上的时间和成本，从而推动了环境感知、路径规划和智能体行为研究的发展。其意义在于为相关领域的研究提供了标准化的测试平台，促进了算法性能的比较和优化。

衍生相关工作

基于360 dataset，许多相关研究工作得以展开，包括但不限于环境感知算法的改进、路径规划策略的优化以及智能体行为建模。例如，一些研究利用该数据集进行深度学习模型的训练，以提高机器人在复杂环境中的导航能力；另一些研究则专注于开发新的算法，以更高效地处理和利用3D环境数据。这些衍生工作进一步推动了AR/VR和机器人技术的发展。