Skoltech3D

这是一个多传感器的大规模数据集，用于多视角三维重建。数据集包含107个场景，使用多种设备进行扫描，包括结构光扫描仪、工业RGB相机、手机深度传感器、立体RGB-D相机等。每个场景的数据包括高精度的结构光扫描、RGB和红外图像、深度图、相机参数和位置等。

This is a large-scale multi-sensor dataset designed for multi-view 3D reconstruction. The dataset comprises 107 scenes, scanned using a variety of equipment including structured light scanners, industrial RGB cameras, mobile depth sensors, and stereo RGB-D cameras. Each scene's data includes high-precision structured light scans, RGB and infrared images, depth maps, camera parameters, and positions.

原始信息汇总

Skoltech3D数据集概述

数据集组成

• 场景数量：107个场景
• 扫描设备：
  • RangeVision Spectrum结构光扫描仪
  • 2x The Imaging Source DFK 33UX250工业RGB相机
  • 2x Huawei Mate 30 Pro手机带飞行时间深度传感器
  • Intel RealSense D435立体RGB-D相机
  • Microsoft Kinect v2 ToF RGB-D相机

数据内容

• 结构光数据：
  • 完整扫描：dataset/{scene}/stl/reconstruction/cleaned.ply
  • 部分扫描：dataset/{scene}/stl/partial/aligned/{scan_i:04}.ply
  • 验证扫描：dataset/{scene}/stl/validation/aligned/{val_scan_i:04}.ply
  • 遮挡表面：dataset/{scene}/stl/occluded_space.ply
• 图像数据：

  • 路径格式：

    Data	Path
    Undistorted images, lighting-dependent	dataset/{scene}/{cam}/{mode}/undistorted/{light}/{pos_i:04}.{ext}
    Undistorted images, lighting-independent	dataset/{scene}/{cam}/{mode}/undistorted/{pos_i:04}.{ext}
    Raw images, lighting-dependent	raw/{scene}/{cam}/{mode}/raw/{light}/{pos_i:04}.{ext}
    Raw images, lighting-independent	raw/{scene}/{cam}/{mode}/raw/{pos_i:04}.png

  • 设备包括：TIS相机、手机相机、RealSense和Kinect相机

  • 图像类型：RGB、深度、红外

• 校准数据：
  • 相机姿态：dataset/{scene}/{cam}/{mode}/images.txt
  • 针孔相机模型：dataset/calibration/{cam}/{mode}/cameras.txt
  • 中央通用相机模型：dataset/calibration/{cam}/{mode}/intrinsics.yaml
  • 深度校准模型：dataset/calibration/{cam}/{mode}/undistortion.pt

附加数据

• 替代校准格式：
  • MVSNet格式：addons/{scene}/{cam}/{mode}/mvsnet_input/{pos_i:08}_cam.txt
  • IDR格式：addons/{scene}/{cam}/{mode}/idr_input/cameras.npz
• 结构光深度图：
  • 无抗锯齿渲染：addons/{scene}/proj_depth/stl.clean_rec@{sensor}.undist/{pos_i:04}.png
  • 带抗锯齿渲染：addons/{scene}/proj_depth/stl.clean_rec.aa@{sensor}.undist/{pos_i:04}.png

数据下载

• 数据集被分割成最大25GB的ZIP档案，根据传感器、数据模式、场景等进行划分。
• 下载链接生成可通过make_links.py脚本进行。

评估

• 评估3D重建方法的指南将在评估页面提供。

搜集汇总

数据集介绍

构建方式

Skoltech3D数据集通过多传感器协同采集的方式构建，涵盖了107个场景的详细三维重建数据。数据采集过程中，使用了RangeVision Spectrum结构光扫描仪、The Imaging Source DFK 33UX250工业RGB相机、Huawei Mate 30 Pro手机的时间飞行深度传感器、Intel RealSense D435立体RGB-D相机以及Microsoft Kinect v2 ToF RGB-D相机等多种设备。每个场景的数据包括高精度的结构光扫描网格和深度图、RGB和红外图像、相机内参和位置信息，以及在不同光照条件下从100个视角捕获的图像数据。此外，数据集还提供了遮挡表面等附加数据，确保了数据的全面性和多样性。

特点

Skoltech3D数据集以其多传感器、多视角、多光照条件下的丰富数据而著称。数据集不仅提供了高精度的结构光扫描数据，还包含了来自不同设备的RGB、深度和红外图像，覆盖了多种光照条件和视角。每个场景的数据均经过严格的校准和优化，确保了数据的一致性和准确性。此外，数据集还提供了多种附加数据，如遮挡表面和不同格式的校准文件，为三维重建算法的开发和评估提供了全面的支持。

使用方法

Skoltech3D数据集的使用方法灵活多样，用户可以根据需求选择下载特定的数据部分。数据集被分割为多个ZIP文件，用户可以通过提供的Python脚本生成下载链接，并使用工具如`wget`进行下载。数据集中包含了详细的路径信息和文件格式说明，用户可以通过提供的代码示例加载和处理数据。此外，数据集还提供了多种附加工具和示例代码，帮助用户进行三维重建算法的开发和评估。用户还可以参考数据集中的详细文档和电子表格，了解数据的结构和内容，以便更好地利用该数据集进行研究和开发。

背景与挑战

背景概述

Skoltech3D数据集由Skoltech研究所的多位研究人员于2023年发布，旨在为多视角三维重建领域提供大规模的多传感器数据支持。该数据集包含107个场景，涵盖了从结构化光扫描仪到RGB-D相机等多种设备的采集数据，提供了高精度的参考扫描、多视角图像、深度图以及相机参数等丰富信息。Skoltech3D的发布为三维重建算法的开发与评估提供了重要的基准，尤其在多传感器融合、光照条件变化处理等方面具有显著的研究价值。该数据集在CVPR 2023会议上首次亮相，迅速成为三维重建领域的重要资源。

当前挑战

Skoltech3D数据集在解决多视角三维重建问题时面临诸多挑战。首先，多传感器数据的融合与校准是核心难题，不同设备的分辨率、精度和噪声特性差异显著，如何有效整合这些数据以生成一致的三维模型仍需深入研究。其次，数据集构建过程中，高精度结构化光扫描与低质量传感器数据的对齐与优化也极具挑战，尤其是在复杂光照条件下的数据采集与处理。此外，数据集的规模与复杂性对存储、传输和计算资源提出了较高要求，如何高效管理与利用这些数据也是亟待解决的问题。

常用场景

经典使用场景

Skoltech3D数据集在计算机视觉领域，尤其是多视角三维重建任务中，展现了其独特的价值。该数据集通过整合多种传感器数据，包括结构光扫描仪、工业RGB相机、手机深度传感器以及RGB-D相机，提供了丰富的多模态数据。研究人员可以利用这些数据，开发并验证多视角三维重建算法，特别是在复杂场景下的精确重建。数据集中的高精度参考扫描和多种视角下的图像数据，为算法提供了可靠的基准测试环境。

衍生相关工作

Skoltech3D数据集自发布以来，已经衍生出多项经典研究工作。例如，基于该数据集的深度学习方法在CVPR等顶级会议上发表了多篇论文，推动了多视角三维重建算法的发展。此外，数据集中的多模态数据也被用于研究传感器融合技术，提升了重建算法的鲁棒性和精度。这些研究工作不仅验证了数据集的价值，也为后续研究提供了重要的参考和基础。

数据集最近研究

最新研究方向

在三维重建领域，Skoltech3D数据集以其多传感器、多视角的丰富数据资源，成为研究热点。该数据集通过整合RangeVision Spectrum结构光扫描仪、工业RGB相机、手机深度传感器等多种设备，提供了107个场景的高精度扫描数据。这些数据不仅包括RGB图像、深度图、红外图像，还涵盖了多种光照条件下的图像采集，为多视角三维重建算法的开发与验证提供了坚实的基础。近年来，基于该数据集的研究主要集中在多传感器数据融合、深度图优化、以及光照条件下的三维重建精度提升等方面。特别是在NeRF（神经辐射场）等新兴技术的推动下，Skoltech3D数据集为复杂场景下的三维重建提供了新的研究视角，推动了该领域的技术进步。