InScope|自动驾驶数据集|3D感知数据集

InScope数据集由中山大学开发，专注于解决基础设施到基础设施（I2I）协同感知中的遮挡问题。该数据集通过在基础设施侧战略部署多位置的激光雷达（LiDAR）系统，捕捉了20天的数据，包含303条跟踪轨迹和187,787个3D边界框。数据集的创建旨在通过多源数据融合、数据域转移和3D多对象跟踪等任务，提升自动驾驶车辆在复杂交通环境中的感知能力，特别是在处理遮挡、小尺寸和远距离对象的检测与跟踪方面。

原始信息汇总

InScope 数据集概述

数据集简介

InScope 是一个新的真实世界 3D 基础设施侧协同感知数据集，适用于开放交通场景。该数据集由以下作者共同开发：Xiaofei Zhang, Yining Li, Jinping Wang, Xiangyi Qin, Ying Shen, Zhengping Fan, Xiaojun Tan^†。

数据下载

InScope 数据集是条件公开的。如需使用，请填写 InScope_Dataset_Release_Agreement.docx 文件，并通过电子邮件将您的全名和机构发送给联系人。数据下载后，请按照以下结构存放：

├── InScope-Sec, InScope_Pri, and InScope datasets │ ├── ImageSets | |── train.txt | |── test.txt | |── val.txt │ ├── labels | |── 000000.txt | |── 000001.txt | |── 000002.txt | |── ... │ ├── points | |── 000000.npy | |── 000001.npy | |── 000002.npy | |── ...

├── InScope_track │ ├── label_02 | |── 0000.txt | |── 0001.txt | |── 0002.txt | |── ... │ ├── points | |── 0000 | |── 000000.bin | |── 000001.bin | |── 000002.bin | |── ... | |── 0001 | |── 0002 | |── ... │ ├── evaluate_tracking.seqmap │ ├── evaluate_tracking.seqmap.test │ ├── evaluate_tracking.seqmap.training │ ├── evaluate_tracking.seqmap.val

数据加载

InScope 数据集已适配到 OpenPCDet 框架，并提供了相应的配置文件 InScope.config。

快速开始

检测训练和推理的详细说明可在 detection_code/openpcdet/README_InScope.md 中找到。所有检查点可在 codes/ckpts/ 中下载。

基准测试

3D 物体检测结果

方法	汽车 AP@0.7	行人 AP@0.5	自行车 AP@0.5	卡车 AP@0.7	mAP40	FPS	下载链接
PointRCNN	71.75	68.13	62.91	94.50	74.32	4.58	URL
3DSSD	68.00	13.88	36.58	95.08	53.38	11.35	URL
SECOND	72.82	47.95	59.91	95.98	69.17	20.58	URL
Pointpillar	78.04	35.34	58.46	95.86	66.93	24.51	URL
PV-RCNN	75.05	48.37	56.31	94.52	68.56	4.35	URL
PV-RCNN++	80.55	53.31	70.92	95.92	75.18	14.66	URL
CenterPoint	77.24	70.45	74.74	96.12	79.64	30.49	URL
CenterPoint_RCNN	78.33	71.13	75.23	96.48	80.29	6.55	URL

3D 物体检测结果（基于 InScope-Sec, InScope_Pri, 和 InScope 数据集）

仅基于 InScope-Sec 的检测结果

方法	汽车 AP@0.7	行人 AP@0.5	自行车 AP@0.5	卡车 AP@0.7	mAP40	FPS	下载链接
PointRCNN	14.12	23.66	20.62	45.36	25.94	22.94	URL
Pointpillar	44.77	33.18	31.42	82.52	47.97	87.72	URL
PV-RCNN++	43.49	34.60	39.94	76.04	48.52	16.67	URL
CenterPoint	35.92	37.40	38.24	68.78	45.08	107.53	URL

仅基于 InScope_Pri 的检测结果

方法	汽车 AP@0.7	行人 AP@0.5	自行车 AP@0.5	卡车 AP@0.7	mAP40	FPS	下载链接
PointRCNN	61.14	88.80	61.99	48.96	65.22	4.67	URL
Pointpillar	67.34	23.82	43.51	91.59	56.57	25.25	URL
PV-RCNN++	72.59	45.26	61.21	91.02	67.52	13.81	URL
CenterPoint	61.31	49.62	52.73	82.02	61.42	33.90	URL

基于早期融合（InScope）机制的检测结果

方法	汽车 AP@0.7	行人 AP@0.5	自行车 AP@0.5	卡车 AP@0.7	mAP40	FPS	下载链接
PointRCNN	71.75	68.13	62.91	94.50	74.32	4.58	URL
Pointpillar	78.04	35.34	58.46	95.86	66.93	24.33	URL
PV-RCNN++	80.55	53.31	70.92	95.92	75.18	12.45	URL
CenterPoint	77.24	70.45	74.74	96.12	79.64	30.49	URL

基于晚期融合机制的检测结果

方法	汽车 AP@0.7	行人 AP@0.5	自行车 AP@0.5	卡车 AP@0.7	mAP40	FPS	下载链接
PointRCNN	62.69	61.31	52.31	90.93	66.81	1.32	URL + URL
Pointpillar	68.65	31.81	49.92	93.48	60.96	1.81	URL + URL
PV-RCNN++	68.01	53.47	56.95	92.65	67.77	1.21	URL + URL
CenterPoint	58.13	50.03	56.01	85.65	62.45	6.40	URL + URL

基于中间融合机制的检测结果

方法	汽车 AP@0.7	行人 AP@0.5	自行车 AP@0.5	卡车 AP@0.7	mAP40	FPS	下载链接
Point-RCNN	-	-	-	-	-	-
Pointpillar	-	-	-	-	-	-
PV-RCNN++	73.78	52.06	62.06	91.89	69.95	13.02	URL
CenterPoint	52.74	38.95	51

AI搜集汇总

数据集介绍

构建方式

InScope数据集通过在基础设施侧战略部署多个位置的激光雷达（LiDAR）系统，以解决遮挡挑战。该数据集包含20天的采集时长，涵盖303条跟踪轨迹和187,787个3D边界框，均由专家标注。通过分析基准，InScope提供了四个不同的基准用于开放交通场景，包括协同3D目标检测、多源数据融合、数据域迁移和3D多目标跟踪任务。此外，设计了一种新的度量方法来量化遮挡的影响，便于评估不同算法在检测性能下降方面的表现。

特点

InScope数据集的显著特点在于其专注于基础设施侧的协同感知，通过多位置LiDAR系统的部署，有效解决了遮挡问题。该数据集不仅提供了丰富的3D目标检测和跟踪数据，还引入了新的度量标准，以量化遮挡对检测性能的影响。此外，InScope数据集的构建方式确保了数据的真实性和多样性，适用于多种感知任务的训练和评估。

使用方法

InScope数据集可用于多种感知任务的训练和评估，包括3D目标检测、多源数据融合、数据域迁移和3D多目标跟踪。研究人员可以通过访问数据集的GitHub仓库获取数据，并利用提供的基准进行算法测试和性能评估。此外，InScope数据集还支持新的度量方法，帮助研究人员量化和优化算法在遮挡条件下的表现。

背景与挑战

背景概述

随着自动驾驶技术的快速发展，车辆感知系统在复杂交通环境中的局限性日益凸显。传统的车辆中心感知系统（VPS）在处理遮挡问题时表现不佳，尤其是在大型车辆如卡车或公交车造成的盲区中，行人或自行车等目标容易被忽视，从而引发安全问题。为应对这一挑战，车辆与基础设施协同感知（V2X）技术提出利用基础设施侧感知系统（IPS）来补充车辆感知，提供更广阔的感知范围。然而，现有真实世界的三维基础设施侧数据集的匮乏限制了V2X技术的发展。为此，中山大学智能系统工程学院的研究团队于2024年推出了InScope数据集，这是首个专注于解决遮挡问题的三维基础设施侧协同感知数据集。InScope通过在基础设施侧部署多位置激光雷达系统，收集了20天的数据，包含303条跟踪轨迹和187,787个三维边界框标注，为V2X技术的研究提供了宝贵的资源。

当前挑战

InScope数据集的构建面临多重挑战。首先，解决遮挡问题是该数据集的核心目标之一，如何在复杂交通场景中准确检测和跟踪被遮挡的目标是一个技术难题。其次，数据集的构建过程中需要克服多源数据融合的挑战，确保不同位置激光雷达数据的协同工作。此外，数据域迁移问题也是一大挑战，如何将InScope数据集中的模型迁移到其他数据域，以提高模型的泛化能力，是当前研究的重点。最后，三维多目标跟踪任务中，如何在小目标、远距离目标和遮挡目标的跟踪上取得突破，也是InScope数据集需要解决的关键问题。

常用场景

经典使用场景

在自动驾驶领域，InScope数据集的经典使用场景主要集中在基础设施侧的协同感知任务中。该数据集通过在基础设施上部署多个位置的激光雷达（LiDAR）系统，解决了车辆感知系统中常见的遮挡问题。具体应用包括协同3D目标检测、多源数据融合、数据域迁移和3D多目标跟踪等任务。这些任务通过分析和融合来自不同LiDAR系统的数据，显著提升了在真实交通场景中对遮挡、小型和远距离物体的检测和跟踪能力。

衍生相关工作

InScope数据集的发布催生了一系列相关的经典工作，特别是在基础设施侧协同感知和V2X技术领域。例如，基于InScope的研究工作提出了新的多源数据融合策略和数据域迁移方法，显著提升了3D目标检测和多目标跟踪的性能。此外，InScope还启发了新的评估指标和基准测试方法，用于量化和比较不同算法在遮挡情况下的表现。这些研究成果不仅推动了自动驾驶技术的发展，也为未来的相关研究提供了坚实的基础。

数据集最近研究

最新研究方向

在自动驾驶领域，InScope数据集的最新研究方向主要集中在基础设施侧协同感知系统的开发与优化。该数据集通过部署多位置的激光雷达系统，旨在解决车辆感知系统中的遮挡问题，特别是在开放交通场景中的遮挡挑战。研究者们致力于通过多源数据融合、数据域迁移和三维多目标跟踪等任务，提升自动驾驶车辆在复杂环境中的感知能力。此外，InScope数据集还引入了一种新的度量标准，用于量化遮挡对检测性能的影响，从而为算法评估提供了更为精确的工具。这些研究不仅推动了V2X技术的发展，也为实现更安全、可靠的自动驾驶系统奠定了基础。

相关研究论文

• InScope: A New Real-world 3D Infrastructure-side Collaborative Perception Dataset for Open Traffic Scenarios

  中山大学 · 2024年