Pi3DET

这是第一个用于多平台3D物体检测的数据集，包含超过51,000个LiDAR帧和超过250,000个精心标注的3D边界框。

This is the first dataset dedicated to multi-platform 3D object detection, encompassing over 51,000 LiDAR frames and more than 250,000 meticulously annotated 3D bounding boxes.

原始信息汇总

Pi3DET 数据集概述

数据集简介

• 名称：Perspective-Invariant 3D Object Detection (Pi3DET)
• 类型：多平台3D目标检测数据集
• 规模：51,545帧LiDAR数据，包含超过250,000个精细标注的3D边界框
• 平台：覆盖车辆(Vehicle)、无人机(Drone)和四足机器人(Quadruped)三种异构机器人平台
• 应用场景：跨平台3D目标检测与域适应

数据集统计

平台分布

平台	帧数	点数(百万)	车辆标注数	行人标注数
Vehicle	32,193	346.95	131,911	88,986
Drone	7,052	59.47	14,534	1,272
Quadruped	12,300	156.75	5,982	14,551
总计	51,545	563.17	152,427	104,809

详细序列信息

• Vehicle平台：
  • 8个序列(4白天/4夜晚)
  • 代表性场景：city_hall、penno_big_loop等
• Drone平台：
  • 7个序列(4白天/3夜晚)
  • 代表性场景：penno_parking_1、high_beams等
• Quadruped平台：
  • 10个序列(8白天/2夜晚)
  • 代表性场景：art_plaza_loop、rocky_steps等

数据集特点

1. 跨平台差异：

   • 显著的自运动抖动差异
   • 点云高程分布差异
   • 目标俯仰角分布差异

2. 标注类别：

   • 车辆(Vehicles)
   • 行人(Pedestrians)

3. 环境条件：

   • 白天/夜间场景全覆盖

基准测试

• 包含对最先进3D目标检测器的跨平台场景全面基准研究
• 提出Pi3DET-Net两阶段适应框架：
  1. 预适应阶段：使用随机抖动和虚拟姿态学习全局几何变换
  2. 知识适应阶段：基于几何感知描述符和KL散度的概率特征对齐

获取方式

• 官方数据托管在HuggingFace平台：https://huggingface.co/datasets/Pi3DET/data

相关资源

• 论文地址：https://arxiv.org/abs/2507.17665
• 项目主页：http://pi3det.github.io/
• 基准挑战赛：RoboSense Challenge 2025 Track 5

许可信息

• 采用Apache License Version 2.0许可
• 部分实现基于MMDetection3D代码库

搜集汇总

数据集介绍

构建方式

Pi3DET数据集作为首个面向异构机器人平台（车辆、无人机、四足机器人）的三维目标检测基准，其构建过程体现了多模态数据融合的前沿理念。研究团队通过多平台LiDAR采集系统，在昼夜不同光照条件下捕获了51,545帧点云数据，涵盖城市街道、广场、停车场等多样化场景。数据标注采用严格的半自动流程，由专业团队对250,000余个三维边界框进行人工校验，确保标注精度达到毫米级。特别值得注意的是，数据集通过时间同步装置实现了多平台数据的时空对齐，为跨平台域适应研究奠定了坚实基础。

特点

该数据集最显著的特征在于其跨平台异构性，包含车辆、无人机和四足机器人三种采集平台的数据，各平台在点云密度、视角高度和运动模式上存在显著差异。统计显示数据集共包含563.17百万个三维点，152,427辆车辆和104,809个行人标注，其中无人机平台数据具有独特的俯视视角特性，而四足机器人数据则包含复杂地形下的目标样本。数据集还精心设计了昼夜场景的平衡分布，并提供了完整的传感器标定参数与位姿真值，为研究视角不变的三维检测算法提供了丰富的研究维度。

使用方法

使用Pi3DET数据集时，研究者可通过HuggingFace平台获取标准化格式的数据包，其中点云数据以PCD格式存储，标注信息采用JSON-LD语义化格式。数据集已预分割为训练集（70%）、验证集（15%）和测试集（15%），并配套提供数据加载工具链与评估指标计算脚本。对于跨平台研究，建议首先利用车辆数据预训练模型，再通过域适应框架迁移到无人机或四足机器人数据。数据集兼容主流三维检测框架如MMDetection3D，用户可根据GET_STARTED.md指南快速搭建实验环境，基准测试结果可参考项目页面的Model Zoo进行对比验证。

背景与挑战

背景概述

Pi3DET数据集由Ao Liang、Lingdong Kong等研究人员于2025年提出，旨在解决异构机器人平台（车辆、无人机和四足机器人）的3D物体检测问题。作为首个专注于多平台3D物体检测的数据集，Pi3DET包含了超过51,000帧激光雷达数据和250,000个精确标注的3D边界框，为跨平台3D物体检测研究提供了重要基准。该数据集通过整合几何和特征级表示，实现了从车辆平台到其他平台的能力迁移，显著推动了自动驾驶和机器人感知领域的发展。

当前挑战

Pi3DET数据集面临的挑战主要体现在两个方面：领域问题的挑战和构建过程的挑战。在领域问题方面，异构机器人平台（车辆、无人机和四足机器人）之间存在显著的几何差异，如自我运动抖动、点云高程分布和目标俯仰角分布等，这些差异严重阻碍了单平台模型的泛化能力。在构建过程方面，数据集需要处理来自不同平台的大规模点云数据，并确保标注的3D边界框在不同视角和平台下保持一致性，这对数据采集、标注和质量控制提出了极高要求。

常用场景

经典使用场景

Pi3DET数据集在跨平台三维目标检测领域展现出卓越的应用价值。该数据集整合了车载、无人机和四足机器人三种异构平台采集的LiDAR数据，为研究视角不变的三维检测算法提供了丰富的实验基础。其多平台特性尤其适合验证模型在复杂场景下的泛化能力，例如在城市场景中同时检测车辆和行人目标时，算法需要克服不同传感器视角和运动模式带来的几何差异。

解决学术问题

该数据集有效解决了三维目标检测领域的核心挑战——跨平台域适应问题。通过提供超过5.1万帧标注数据和25万个三维边界框，研究者能够系统分析不同移动平台间的几何差异，如点云高程分布和目标俯仰角变化等关键因素。其提出的两阶段适应框架为消除传感器特异性的干扰提供了方法论指导，推动了视角不变特征学习这一前沿方向的发展。

衍生相关工作

基于Pi3DET的创新性数据架构，衍生出多个具有影响力的研究方向。其提出的几何随机抖动和虚拟位姿预处理方法被后续工作扩展为通用的跨域增强策略。在IROS 2025 RoboSense挑战赛中，该数据集作为基准测试平台催生了多篇关于特征分布对齐的新算法。相关成果进一步推动了MMDetection3D和OpenPCDet等开源框架的模块化发展。