HAMMER

HAMMER数据集是一个高度精确的多模态室内深度估计数据集，由慕尼黑工业大学和华为诺亚方舟实验室共同创建。该数据集包含13,000帧图像，涵盖了多种传感器数据，包括飞行时间（ToF）、立体视觉、主动立体视觉以及单目RGB+P数据。数据集通过3D扫描和渲染技术生成高可靠性的深度图，旨在为深度估计和传感器融合方法提供一个可靠的基础。HAMMER数据集适用于研究室内场景中的深度估计问题，特别是在处理具有挑战性的日常场景内容时，如纹理缺失区域、反射材料和透明材料等。The HAMMER dataset is a highly accurate multi-modal indoor depth estimation dataset jointly created by the Technical University of Munich and Huawei Noah's Ark Lab. This dataset contains 13,000 image frames, covering multiple types of sensor data including Time-of-Flight (ToF), stereo vision, active stereo vision, and monocular RGB+P data. The dataset generates high-reliability depth maps through 3D scanning and rendering technologies, aiming to provide a reliable foundation for depth estimation and sensor fusion methods. The HAMMER dataset is suitable for researching depth estimation problems in indoor scenes, especially when dealing with challenging daily scene contents such as texture-deficient areas, reflective materials, and transparent materials.

搜集汇总

数据集介绍

构建方式

HAMMER 数据集采用了一种多模态传感器的组合方式构建，包括室内深度估计中常用的 ToF、立体、主动立体以及单目 RGB+P 数据。为了获取高度可靠的真实深度图，研究人员使用 3D 扫描仪和校准渲染来辅助构建数据集。这种构建方式使得 HAMMER 数据集能够提供丰富的深度估计信息，并为深度估计模型的训练和评估提供了有力支持。

特点

HAMMER 数据集具有以下特点：首先，它是一个包含多种传感器深度估计数据的室内数据集，提供了 13 个室内场景的高精度真实深度图；其次，数据集包含了丰富的多模态传感器数据，包括 iToF、dToF、单目 RGB+P、单色立体和主动光立体；最后，数据集采用了多种深度估计模型进行训练和评估，并通过实验验证了不同传感器模态对深度估计的影响。

使用方法

HAMMER 数据集的使用方法如下：首先，下载数据集并解压到本地；其次，根据数据集的文件格式和结构，加载所需的数据；最后，使用深度估计模型进行训练和评估。在训练过程中，可以选择不同的传感器模态作为监督信号，并通过实验比较不同模态对深度估计的影响。

背景与挑战

背景概述

深度估计是3D计算机视觉中的核心任务。近年来，许多研究方法利用各种深度传感器模态对单目深度进行训练。每种传感器都有其优势和局限性，这些优势局限性是由估计的本质造成的。在文献中，主要研究的是深度的平均误差，通常不会讨论传感器的性能。然而，对于室内环境，一些设备却面临着挑战。无纹理区域对运动结构造成挑战，反射材料对主动传感构成问题，而现有传感器难以测量半透明材料的距离。本文提出了HAMMER数据集，该数据集包含多个常用传感器的深度估计，用于室内深度估计，即飞行时间（ToF）、立体视觉、主动立体视觉以及单目RGB+P数据。我们借助3D扫描仪和校准渲染，构建了高度可靠的地面真实深度图。在该数据集上训练了一种流行的深度估计器，并在不同的场景结构上对其进行了广泛分析。我们注意到，在具有挑战性的日常场景内容中，家庭环境中存在来自不同传感器技术的泛化问题。HAMMER数据集已公开可用，为有针对性的深度改进和传感器融合铺平了道路。

当前挑战

深度估计是一个固有的问题，由于投影算子的不可逆性，许多3D场景可能与相同的2D图像相对应，从而为该任务带来了不确定性。深度估计器在训练过程中需要高质量的地面真实深度图，而现有的深度传感器在测量反射和透明材料时存在局限性，这导致地面真实深度图的准确性受到影响。此外，多模态数据融合在深度估计中具有巨大潜力，但将不同模态的数据对齐到公共参考帧本身就是一个挑战。此外，现有数据集主要针对室外场景，缺乏室内场景的真实数据，这限制了深度估计器在室内环境中的应用。

常用场景

经典使用场景

HAMMER数据集为室内深度估计任务提供了宝贵的多模态数据资源，包含来自不同传感器（iToF、dToF、单目RGB+P、黑白立体相机和主动立体相机）的深度估计。该数据集最经典的使用场景是作为深度估计模型的训练和评估数据集。研究人员可以利用HAMMER数据集中包含的高精度地面真实深度图，对不同深度估计模型的性能进行客观评估，并分析不同传感器模态对模型性能的影响。此外，HAMMER数据集的多模态特性也使其成为研究多模态深度估计和传感器融合的理想平台。

实际应用

HAMMER数据集在实际应用场景中具有广泛的应用前景。例如，在自动驾驶、机器人视觉、AR/VR等领域，深度估计技术是理解和交互环境空间的基础。HAMMER数据集提供的多模态深度估计数据可以帮助研究人员开发更精确、更鲁棒的深度估计模型，从而提高自动驾驶车辆的安全性、机器人对物体的操作精度以及AR/VR的沉浸式体验。

衍生相关工作

HAMMER数据集的发布推动了深度估计领域的研究进展，并衍生了多项相关经典工作。例如，研究人员利用HAMMER数据集对不同传感器模态的深度估计性能进行了深入分析，并提出了改进深度估计模型和传感器融合技术的新方法。此外，HAMMER数据集也促进了多模态深度估计和传感器融合技术在自动驾驶、机器人视觉、AR/VR等领域的应用研究。