HAMMER

该数据集名为HAMMER，是一个包含极化深度信息的数据集，涵盖了13个不同的场景，总共7200帧画面捕捉到了包含物体的场景。该数据集不仅包含了来自消费级深度传感器的深度信息，还提供了高质量渲染的地面真实深度作为对照。此外，数据集还包含了来自立体相机深度传感器（D435）、直接飞行时间传感器（L515）和间接飞行时间传感器深度的测量数据，这有助于分析不同深度传感器的退化情况。该数据集的规模为7200帧画面和13个场景，其任务是通过极化指导进行深度增强研究。

Named HAMMER, this is a specialized dataset containing polarization depth information. It covers 13 distinct scenes, with a total of 7200 frames capturing scenes with various objects. In addition to depth data collected from consumer-grade depth sensors, the dataset provides high-quality rendered ground-truth depth maps as a comparative reference. Furthermore, it includes depth measurement data from stereo camera depth sensors (D435), direct time-of-flight (ToF) sensors (L515), and indirect time-of-flight sensors, which facilitates the analysis of degradation characteristics of different depth sensors. Tailored for polarization-guided depth enhancement research, this dataset comprises 7200 frames across 13 distinct scenes.

搜集汇总

数据集介绍

构建方式

HAMMER数据集通过融合多种传感器与高精度三维扫描技术构建而成。研究团队首先利用EinScan-SP旋转台扫描仪和Artec Eva手持扫描仪分别获取小型物体与大型场景背景的高分辨率三维网格。随后，将64个日常物品与7种室内背景组合成13个场景，借助KUKA LBR iiwa机械臂的精确位姿（重复定位精度±0.1毫米）进行轨迹录制与物体标注。在数据采集阶段，一个定制化相机平台集成了四种传感器：Phoenix偏振RGB相机、Intel RealSense D435（被动与主动立体）、L515（直接飞行时间）以及Lucid Helios（间接飞行时间），并通过树莓派触发时序消除红外干扰。最终，通过将预扫描的三维网格与场景对齐并渲染，生成了像素级精确的高质量深度真值。

特点

该数据集的核心特点在于其前所未有的多模态融合与高精度真值。它同步提供了RGB、偏振、被动立体、主动立体、直接飞行时间（dToF）和间接飞行时间（iToF）共六种模态的图像与深度数据，覆盖了室内深度估计领域最主流的传感器类型。尤为突出的是，其深度真值通过三维扫描仪与机械臂标注联合生成，精度可达0.80毫米，比商用深度相机（如Kinect Azure的17毫米误差）高出一个数量级以上。这使得HAMMER能够首次在纹理丰富/缺失、反射、透明等复杂光照与材质区域，对各类传感器的系统性误差进行精细量化分析，揭示了不同传感器在特定场景下的过拟合与泛化短板。

使用方法

数据集的使用方法灵活多样，适用于监督、半监督与自监督深度估计研究。用户可直接利用提供的RGB图像与任一传感器深度（如dToF、iToF、主动立体）作为监督信号，训练Monodepth2等经典单目深度估计网络。此外，数据集还提供了相机位姿真值与多视角图像，支持基于光度重投影损失的半监督或自监督训练范式，以探究不同监督策略对传感器噪声的鲁棒性。具体实现上，所有模型可在PyTorch框架中，通过将RGB输入缩放至480×320或320×160分辨率，并使用Adam优化器训练20个epoch完成。配套的实例分割掩码与传感器间外参矩阵，进一步支持了传感器融合与域适应等高级研究任务。

背景与挑战

背景概述

深度估计是三维计算机视觉领域的核心任务，其准确性直接关系到自主导航、机器人操作及增强现实等应用的可靠性。然而，现有室内深度数据集多依赖单一传感器（如ToF、立体视觉或主动立体）提供真值，这些传感器各自受限于物理原理，在纹理匮乏区域、反射表面及透明物体等场景下易产生系统性误差。为此，慕尼黑工业大学与华为诺亚方舟实验室等机构的研究人员于2022年共同构建了HAMMER数据集，旨在系统评估不同传感器模态作为真值监督信号时的可靠性。该数据集通过高精度3D扫描仪与机械臂标定技术，为13个室内场景（包含约1.3万帧图像）提供了亚毫米级精度的深度真值，并同步采集了iToF、dToF、主动立体、被动立体及偏振RGB等多种模态数据，为多传感器融合与深度估计网络的性能分析奠定了坚实基础。

当前挑战

HAMMER数据集所应对的核心挑战在于揭示现有深度传感器真值的不可靠性及其对学习方法的误导。首先，领域问题层面，不同传感器在特定材质（如高反射、透明物体）下会产生显著的系统性偏差——ToF传感器因多径干扰导致深度值漂移，主动立体在远距离或低纹理区域精度骤降，而被动立体则受限于光照条件。其次，数据构建层面，如何实现多模态传感器的亚毫秒级同步、消除红外干扰（如通过树莓派分时触发），以及将预扫描的物体网格精确配准至场景坐标系（机械臂精度达0.80mm），均构成严峻技术挑战。此外，背景与大型物体的标注需依赖手持扫描仪与人工后处理，过程繁琐且难以规模化，限制了数据集的扩展性。这些挑战共同凸显了构建多模态高精度真值数据集的复杂性，以及其对推动鲁棒深度估计方法发展的关键作用。

常用场景

经典使用场景

HAMMER数据集在室内深度估计领域开辟了多模态传感器对比研究的先河。其核心应用场景在于系统性地评估不同深度传感技术——包括间接飞行时间（iToF）、直接飞行时间（dToF）、主动立体视觉以及单目RGB+P——在复杂室内环境中的表现差异。研究者通过该数据集可精准量化各传感器在纹理丰富与缺失区域、反射与透明材质表面上的深度预测偏差，从而揭示传感器固有的优势与局限。该数据集为深度估计模型的训练与验证提供了前所未有的高精度基准，尤其适用于探究监督信号质量对单目深度回归网络泛化能力的影响。

衍生相关工作

HAMMER数据集衍生了多项引领领域发展的经典工作。在传感器校准方面，研究者基于其高精度真值提出了针对iToF多路径干扰的深度学习补偿方法，显著降低了反射表面的深度误差。在自监督深度估计领域，该数据集催生了跨模态一致性学习框架，通过融合偏振光与ToF信号提升了透明物体的深度预测精度。此外，基于HAMMER的多传感器对比分析，学界提出了主动立体与dToF的混合融合策略，在保持边缘锐度的同时有效抑制了远距离深度漂移。这些衍生工作不仅深化了对传感器误差特性的理解，更为下一代鲁棒性室内三维感知系统的设计提供了关键理论支撑。

数据集最近研究

最新研究方向

在三维计算机视觉领域，深度估计作为核心任务，近年来备受关注。然而，现有深度传感器在室内复杂场景中，尤其在纹理缺失、反光及透明材质的物体上，普遍存在精度偏差，这严重制约了单目深度估计模型的泛化能力与可靠性。针对这一瓶颈，HAMMER数据集应运而生，它首次同步采集了iToF、dToF、主动立体、被动立体及偏振RGB等多种模态数据，并借助高精度3D扫描与机器人臂标注，构建了亚毫米级误差的稠密深度真值。该数据集不仅系统揭示了不同传感器在反射、透明等光照挑战性区域的本征缺陷，还通过对比训练实验，清晰证明了基于不完善传感器真值训练会引发模型对传感器误差的过拟合，从而误导性能评估。HAMMER的发布为传感器融合、跨模态自监督学习以及高鲁棒性深度估计算法的研发提供了坚实的基准平台，推动了室内场景理解向更精准、更可靠的方向演进。

相关研究论文

• Is my Depth Ground-Truth Good Enough? HAMMER -- Highly Accurate Multi-Modal Dataset for DEnse 3D Scene Regression

  慕尼黑工业大学 · 2022年