Pi3D, HEB

Pi3D数据集由苏黎世联邦理工学院计算机视觉与几何组创建，包含约1000个3D平面，这些平面是从1DSfM数据集的10000张图像中观察到的。HEB数据集是一个大规模的单应性估计基准，利用Pi3D数据集，包含226,260个单应性变换，用于评估各种鲁棒估计器和基于深度学习的对应关系过滤方法。这两个数据集广泛应用于单目深度训练、表面法线估计和图像匹配算法的评估，以及鲁棒单应性估计的研究。数据集创建过程中，使用了COLMAP进行场景重建，确保了数据集的高质量和适用性。应用领域包括计算机视觉、增强现实和自动驾驶等。The Pi3D Dataset was developed by the Computer Vision and Geometry Group at ETH Zurich. It contains approximately 1,000 3D planes observed from 10,000 images sourced from the 1DSfM dataset. The HEB Dataset is a large-scale homography estimation benchmark. Built upon the Pi3D Dataset, it encompasses 226,260 homographic transformations, which are utilized to evaluate various robust estimators and deep learning-based correspondence filtering methods. These two datasets have been extensively applied in the evaluation of monocular depth training, surface normal estimation, image matching algorithms, as well as research on robust homography estimation. During the dataset creation process, COLMAP was employed for scene reconstruction, ensuring the high quality and applicability of the datasets. Its application fields include computer vision, augmented reality, autonomous driving, and other related areas.

搜集汇总

数据集介绍

构建方式

在计算机视觉领域，平面单应性作为连接共面三维点投影映射的核心几何工具，其估计精度直接影响着图像拼接、SLAM及增强现实等应用的性能。为突破现有数据集规模小、场景单一的局限，研究者基于1DSfM标准地标数据集中的13个场景，利用COLMAP进行高精度三维重建，并通过Progressive-X+算法从点云中提取出约1000个显著三维平面，构建了Pi3D数据集。随后，结合SIFT特征匹配与相机位姿参数，为每个可见平面在图像对中计算单应性矩阵，并经由归一化DLT算法验证其可估计性，最终筛选出226260个高质量单应性关系及约400万组对应点，形成了HEB基准数据集。

特点

HEB数据集以其大规模与高挑战性脱颖而出，其图像对涵盖了显著的光照与视角变化，且约80%的单应性内点率低于0.1，远低于现有数据集，对鲁棒估计器构成了严峻考验。数据集的训练集与测试集严格分离，分别包含两个与九个场景，避免了过拟合风险。此外，所有单应性均与场景几何一致，并提供了SIFT特征的方向、尺度及SNN比率等丰富信息，支持对特征检测器不确定性的深入分析，如首次揭示了SIFT方向的标准差约为11.8度，位置不确定性约为0.67像素。

使用方法

HEB为单应性估计提供了标准化的评估协议，要求算法在训练集上通过网格搜索联合优化内点阈值与SNN比率等超参数，随后在测试集上固定参数进行评测。主要度量包括基于位姿的旋转与平移误差、基于真值的重投影误差以及自监督的内点数量与运行时间，并通过平均精度均值（mAA）进行汇总。研究者可利用数据集中的对应点坐标、方向、尺度及SNN比率作为输入，评估传统RANSAC变体或深度学习预滤波方法的性能；同时，Pi3D的三维平面信息也可用于训练单目深度估计与表面法线预测模型。

背景与挑战

背景概述

在计算机视觉领域，平面单应性矩阵作为连接共面三维点与图像间投影映射的核心几何工具，广泛应用于图像拼接、SLAM、增强现实及自主导航等任务。然而，现有用于评估单应性估计方法的公开数据集存在规模有限、场景单一或标注困难等不足，例如Homogr数据集仅包含16对图像且基线较短，HPatches数据集虽涵盖光照与视角变化但场景近乎完全平面，而ExtremeView数据集虽挑战性强却仅有15对图像。为突破这些瓶颈，ETH Zurich、布拉格捷克理工大学及波恩大学的研究人员于2023年联合发布了Pi3D与HEB数据集。Pi3D基于1DSfM数据集中的地标场景重建，提取了约1000个三维平面并涵盖10000余幅图像，而HEB则在此基础上构建了包含226260个单应性矩阵及约400万对匹配点的大规模基准，为单应性估计、深度估计及图像匹配等任务提供了前所未有的数据支撑。

当前挑战

HEB数据集所面临的挑战主要体现在两个层面。在领域问题层面，单应性估计的核心难点在于图像对间常经历剧烈的视角与光照变化，导致内点比率极低——约80%的单应性矩阵内点比率低于0.1，且约30%的案例内点数量不足20个，这使得传统鲁棒估计器与深度学习过滤方法均面临严峻考验。在数据集构建过程中，挑战同样显著：首先，需从COLMAP重建中精确检测三维平面并恢复绝对尺度，通过人工标注与Google Maps测量结合的方式将标准差控制在约16厘米；其次，需确保单应性矩阵与场景几何一致且能从真实对应点中通过标准DLT算法可靠估计，为此设置了严格的旋转误差（<3°）与平移误差（<3°）筛选条件；最后，为公平评估，数据集需划分训练集与测试集，并设计明确的参数调优与评估协议，避免过拟合与评估偏差。

常用场景

经典使用场景

Pi3D与HEB数据集在计算机视觉领域最经典的使用场景是作为大规模单应性矩阵估计的基准测试平台。该平台提供了超过22万组真实世界地标图像对，涵盖显著视角变化与光照变化，其中约80%的图像对内点率低于0.1，构成了极具挑战性的评估环境。研究者可利用其标准化的训练-测试划分协议，系统性地评估各类鲁棒估计器与深度学习匹配滤波方法的性能，从而推动单应性估计领域的科学进展。

解决学术问题

该数据集解决了长期以来缺乏大规模、困难且带有真实标注的单应性矩阵基准的学术困境。传统数据集如Homogr仅含16对图像且已过饱和，ExtremeView仅有15对且缺乏协议，HPatches虽然规模适中但场景过于简单。HEB通过从1DSfM数据集中提取约1000个三维平面，提供了226260组具有挑战性的单应性矩阵，并首次引入了严格的超参数调优与测试协议，有效避免了算法在测试集上过拟合的伪进步问题。

衍生相关工作

该数据集催生了一系列重要的衍生工作。在鲁棒估计器方面，VSAC与Affine GC-RANSAC等算法在HEB上取得了领先性能，其中Affine GC-RANSAC通过利用SIFT特征的方向与尺度信息显著降低了样本复杂度。在深度学习预滤波方面，OANet与CLNet等模型在HEB上展现出超越传统SNN比值滤波的潜力。此外，研究者还利用HEB对SIFT关键点的角度、尺度与位置不确定性进行了首次大规模统计分析，为特征检测器的误差建模与后续优化提供了重要参考。