SCRREAM

SCRREAM数据集由慕尼黑工业大学创建，专注于室内3D场景的密集注释。该数据集包含11个场景，每个场景都通过高分辨率扫描和精确的相机姿态注册，生成详细的3D网格和深度图。数据集的创建过程包括扫描、注册、渲染和映射四个步骤，确保了场景的完整性和准确性。SCRREAM数据集主要应用于室内重建、SLAM、场景编辑和6D姿态估计等领域，旨在为这些任务提供高质量的基准数据。The SCRREAM dataset, created by the Technical University of Munich, focuses on dense annotation of indoor 3D scenes. This dataset includes 11 scenes, each registered via high-resolution scans and precise camera poses to generate detailed 3D meshes and depth maps. The dataset's creation process consists of four steps: scanning, registration, rendering, and mapping, which ensures the integrity and accuracy of the scenes. The SCRREAM dataset is primarily applied in fields such as indoor reconstruction, SLAM, scene editing, and 6D pose estimation, aiming to provide high-quality benchmark data for these tasks.

原始信息汇总

SCRREAM 数据集概述

数据集下载链接

• 室内重建与SLAM数据集 & 物体移除与场景编辑数据集:

  • scene01-05, 59 Gb
  • scene06-11, 101 Gb

• 人体重建数据集:

  • scene01-02, 7.7 Gb

• 姿态估计数据集:

  • scene01-02, 7.4 Gb

数据集结构

下载后解压至 dataset 文件夹，结构如下：

dataset human_scene01.. human_scene02.. pose_meshes_canonical.. pose_scene01.. pose_scene02.. scene01.. ... scene11.. README.txt

可视化指南

环境要求

使用以下命令安装依赖：

pip install -r requirements.txt

测试环境为 Python 3.9，Windows 10。

室内重建与SLAM数据集 & 物体移除与场景编辑数据集可视化

运行 render_scene.py 脚本，参数为 {dataset_dir} {scene} {traj} {frame}，例如：

python render_scene.py dataset scene01 full_00 -1 python render_scene.py dataset scene01 full_00 100

可视化格式为 2x3 图像布局：

| (Ground Truth Depth) | (D435 Depth) | (ToF Depth) | | (RGB with Semantic Mask) | (D435 Error) | (ToF Error) |

人体重建数据集可视化

运行 render_human.py 脚本，参数为 {dataset_dir} {scene} {frame} {view}，例如：

python render_human.py dataset human_scene01 0 0 python render_human.py dataset human_scene01 0 -1

可视化格式为 1x3 图像布局：

| (RGB with Semantic Mask) | (RGB with Scanned Human Mesh) | (RGB with SMPL Human Mesh) |

6D姿态估计数据集可视化

运行 render_pose.py 脚本，参数为 {dataset_dir} {scene} {frame}，例如：

python render_pose.py dataset pose_scene01 -1 python render_pose.py dataset pose_scene01 100

可视化格式为 1x1 图像布局：

| (RGB with Pose 3D Bounding Box and Mask) |

搜集汇总

数据集介绍

构建方式

SCRREAM数据集的构建方式独特，通过扫描单个物体并以高分辨率方式记录，随后将这些物体注册到真实场景和相机序列中。此过程确保了场景中每个物体的高密度和完整性，从而为密集的三维视觉任务提供了精确的地面实况。该数据集的构建流程包括扫描、注册、渲染和映射四个主要步骤，每个步骤都经过精心设计，以确保最终生成的三维模型具有高度的准确性和细节。

使用方法

SCRREAM数据集的使用方法多样，适用于多种三维视觉任务。用户可以通过访问数据集的官方网站下载数据，并使用提供的工具包进行数据加载和可视化。数据集中的每个场景都包含了详细的注释信息，包括相机姿态、深度图、实例分割和类分割等。用户可以根据具体任务的需求，选择合适的数据集变体进行训练和评估。此外，数据集还提供了详细的文档和示例代码，帮助用户快速上手并充分利用数据集的潜力。

背景与挑战

背景概述

SCRREAM数据集由慕尼黑工业大学和华为诺亚方舟实验室的研究人员共同开发，旨在通过精确的3D室内场景注释框架解决传统3D室内数据集在地面真实精度上的不足。该数据集的核心研究问题是如何在保持场景规模的同时，提高3D几何任务的地面真实精度。SCRREAM框架通过扫描单个物体并以高分辨率方式注册到真实场景中，生成完全密集的网格，从而为稀疏和密集的3D任务提供准确的地面真实数据。该数据集的创建对3D计算机视觉领域具有重要影响，特别是在室内重建和同步定位与地图构建（SLAM）等任务中。

当前挑战

SCRREAM数据集面临的挑战包括解决传统3D室内数据集在图像分类等任务中的不完整网格问题，以及在构建过程中遇到的传感器视野问题和精度不足。此外，该数据集在处理复杂场景时，如确保每个物体的完整扫描和注册，以及在动态环境中保持高精度注释，都是其面临的重大挑战。尽管如此，SCRREAM通过其创新的注释框架和高质量的数据集，为3D视觉任务提供了新的基准。

常用场景

经典使用场景

SCRREAM数据集的经典使用场景主要集中在室内三维场景的重建和同步定位与地图构建（SLAM）任务上。该数据集通过其高精度的三维网格和相机姿态注册，为深度渲染等密集几何任务提供了准确的地面实况。此外，SCRREAM还支持场景编辑与物体移除、人体重建以及六自由度姿态估计等多样化应用，展示了其在三维计算机视觉领域的广泛适用性。

解决学术问题

SCRREAM数据集解决了传统室内三维数据集在地面实况精度上的不足，特别是在处理密集几何任务时，传统数据集的网格不完整性可能导致错误的评估结果。通过提供全密集的三维网格和精确的相机姿态，SCRREAM为学术界提供了一个可靠的基准，促进了室内场景重建、SLAM、人体重建和六自由度姿态估计等领域的研究进展。

实际应用

在实际应用中，SCRREAM数据集可用于增强现实（AR）和虚拟现实（VR）中的场景重建与渲染，确保用户在虚拟环境中的沉浸感和真实感。此外，该数据集还可应用于智能家居系统中的物体识别与姿态估计，提升系统的智能化水平。SCRREAM的高精度三维数据也为机器人导航和自动化提供了坚实的基础。

数据集最近研究

最新研究方向

在三维室内场景理解领域，SCRREAM数据集的最新研究方向主要集中在通过高精度的三维网格注释来提升深度渲染和几何任务的评估准确性。SCRREAM框架通过扫描和注册单个物体，生成全密度的场景网格，并结合相机姿态进行精确的地面实况渲染，从而为稀疏和密集的三维任务提供准确的基准数据。这一方法不仅解决了传统数据集在几何完整性上的不足，还为室内重建、SLAM、场景编辑和物体移除、人体重建以及六维姿态估计等前沿任务提供了新的评估标准。SCRREAM数据集的推出，标志着三维计算机视觉领域在数据质量和任务多样性上的重大进步，为未来的研究提供了坚实的基础。

相关研究论文

• SCRREAM : SCan, Register, REnder And Map:A Framework for Annotating Accurate and Dense 3D Indoor Scenes with a Benchmark

  慕尼黑工业大学 · 2024年