awesome-rgbd-datasets

该合集是一个精选的RGB-D数据集集合，包含231个包含可访问深度数据的RGB-D数据集，并按应用类型、场景类型和年份进行分类。数据集涵盖多个应用领域，如计算机视觉和机器人技术，旨在为研究人员提供结构化的数据集索引和筛选工具。This curated collection is a compilation of RGB-D datasets, containing 231 RGB-D datasets with accessible depth data, and is categorized by application type, scene type and year. The datasets span multiple application domains including computer vision and robotics, with the goal of providing researchers with structured dataset indexes and filtering tools.

原始信息汇总

Awesome RGB-D Datasets 数据集概述

基本信息

• 来源: 论文 "A Survey on RGB-D Datasets" (arXiv:2201.05761)
• 收录数量: 231 个包含可访问深度数据的 RGB-D 数据集
• 分类体系: 数据集分为 3 个大类和 6 个子类，代表 RGB-D 数据的不同应用场景
• 更新日期: 2022 年 7 月 15 日（新增 28 个数据集，主要来自 "Body" 类别，包含显著性图）

数据集表格结构

每个数据集包含 8 个信息维度：

字段	说明
年份 (Year)	数据集发布年份
场景类型 (Scene Type)	如 Indoor、Driving、Aerial 等
传感器类型 (Sensor Type)	如 LiDAR、TOF、Structured Light、SCS、Synthetic
传感器名称 (Sensor Name)	具体传感器型号
数据模态 (Data Modalities)	如 Color、Depth、IMU、GPS 等
额外数据 (Extra Data)	如语义分割、实例分割、法线图、光流等
图像/场景数量 (Images/Scenes)	数据集规模
应用类型 (Application Type)	如 SOR（场景理解与重建）和 SOE（场景理解与环境）

代表性数据集示例

Driving 场景类

数据集	传感器	图像/场景数	年份
DDAD	LiDAR (Luminar-H2)	150 scenes (12650 frames)	2020/2021
Woodscape	LiDAR (Velodyne HDL-64E)	50 sequences (100k frames)	2019/2021
NuScenes	LiDAR	1000 scenes (1.4M images)	2019/2020
KITTI-360	SCS + LiDAR	11 sequences (320k images)	2021
KITTI	SCS + LiDAR	61 scenes (42746 frames)	2012

Indoor 场景类

数据集	传感器	图像/场景数	年份
Hypersim	Synthetic	461 scenes (77400 images)	2021
Replica	Structured Light	18 scenes	2019
Gibson	LiDAR + Structured Light	572 scenes	2018
InteriorNet	Synthetic	20 Million Images	2018
MatterPort3D	SCS + Structured Light	90 scenes (194400 images)	2017
ScanNet	Structured Light	1513 sequences (2.5M frames)	2017
SceneNet RGB-D	Synthetic	15K trajectories (5M images)	2017
SUN3D	Structured Light (Asus Xtion Pro Live)	415 sequences	2013

混合/其他场景类

数据集	场景类型	图像/场景数	年份
TartanAir	Indoor + Outdoor	1037 scenes (Over 1M frames)	2020
RoboTHOR	Indoor (Synthetic)	75 scenes	2020
Virtual Kitti	Driving (Synthetic)	50 videos (21260 frames)	2016

传感器类型说明

• Structured Light: 如 Microsoft Kinect v1，产生结构光深度
• TOF (Time-of-Flight): 如 Kinect v2，飞行时间传感器
• LiDAR: 如 Velodyne，激光雷达
• SCS (Stereo Camera Sensing): 双目立体视觉
• Synthetic: 合成数据生成

支持资源

• 筛选网站: https://alexandre-lopes.com/rgbd-datasets/（可筛选和排序）
• 论文引用: LOPES等 (2022), Computer Vision and Image Understanding, Volume 222, 103489

搜集汇总

数据集介绍

构建方式

该数据集收集了计算机视觉领域内231个包含可获取深度信息的RGB-D数据集，依据其应用场景构建了三级分类体系与六类子范畴。每个数据集均以八项核心元数据（年份、场景类型、传感器类型、传感器名称、数据模态、额外数据、图像/场景数量及应用领域）进行结构化描述，并辅以传感器类型（如结构光、TOF、LiDAR、立体视觉）与深度数据质量的对比分析。

特点

数据集覆盖驾驶、室内、航空、物体聚焦等多类场景，囊括真实传感器采集与合成生成数据，深度模态来源多样（LiDAR点云、结构光、TOF、立体匹配）。每个条目均提供场景类型、传感器规格及标注信息（如语义分割、实例分割、法线图），并支持按应用类型、场景类型和年份多层筛选，便于研究者快速定位特定领域的高影响力数据集。

使用方法

用户可通过GitHub仓库或配套过滤网站按应用类型、场景类型及年份检索数据集。每个条目内嵌数据集名称、传感器类型、数据模态、图像规模及论文链接，可直接跳转至原始项目获取数据与代码。仓库持续更新，并鼓励通过邮件提交新数据集，以维持其在RGB-D研究领域的时效性与完整性。

背景与挑战

背景概述

随着深度传感技术的飞速发展，RGB-D数据在计算机视觉与机器人领域扮演着愈发关键的角色，为场景理解、物体识别及自主导航等任务提供了丰富的三维几何与外观信息。然而，长期以来，各类RGB-D数据集分散于不同的研究工作中，缺乏统一的分类与比较标准，这给研究者选取合适的数据集带来了极大不便。为此，Alexandre Lopes等人于2022年在《Computer Vision and Image Understanding》上发表了综述论文，并构建了awesome-rgbd-datasets仓库，系统性地收录了231个包含可获取深度数据的RGB-D数据集。该仓库依据应用类型、场景类型和年份对数据集进行层次化分类，并提供了详细的元数据列，包括传感器类型、数据模态及额外数据等，旨在为领域内研究者提供一个全面、可筛选的参考资源，推动RGB-D研究的标准化与可复现性。

当前挑战

尽管awesome-rgbd-datasets提供了丰富的资源索引，但当前RGB-D领域仍面临多重挑战。首先，在领域问题层面，不同应用场景（如自动驾驶、室内导航、物体操控）对深度数据的精度、范围与稀疏性要求差异显著，现有数据集往往针对特定任务设计，缺乏跨场景的泛化能力。其次，在构建过程中，传感器类型（如结构光、ToF、LiDAR）的多样性导致深度图质量参差不齐，数据采集成本高昂且标注工作繁重，尤其在动态场景或大规模室外环境中，获取精确的深度真值尤为困难。此外，数据集的更新与维护依赖社区贡献，部分早期数据集已不再活跃，存在时效性不足与标准不统一的问题，制约了多数据集联合训练与评估的可行性。

常用场景

经典使用场景

在计算机视觉与机器人感知领域，RGB-D数据集是推动场景理解与自主导航技术发展的基石。awesome-rgbd-datasets 汇集了涵盖室内外、驾驶、航空等多类场景的231个数据集，为研究者提供了从结构化光、ToF到LiDAR等不同传感器的深度数据资源。其经典使用场景在于作为基准平台，用于训练和评估深度估计、语义分割、目标检测与跟踪等核心任务，尤其适合对比不同传感器特性（如稀疏性与可靠性）对算法性能的影响。

解决学术问题

该数据集集合系统性地解决了RGB-D研究中长期存在的资源碎片化与基准不统一问题。通过构建层次化分类体系（如场景类型、传感器模态），它使研究者能快速定位适用于特定问题的数据，从而推动跨领域对比分析。其意义在于揭示了不同传感器（如Kinect与LiDAR）在室内导航、自动驾驶等场景中的适用边界，为算法泛化能力与鲁棒性研究提供了实证基础，显著降低了重复造数据的学术成本。

衍生相关工作

该数据集集合衍生了一系列经典工作，包括基于多传感器融合的场景重建算法（如Gibson与Replica驱动的强化学习环境）、跨模态知识蒸馏方法（从LiDAR点云到单目深度估计），以及针对长尾分布的少样本学习框架。其分类体系还催生了数据效率优化研究，例如利用Taskonomy的任务关联性迁移学习，显著减少了新场景下的标注需求。