UT Campus Object Dataset (CODa)

UT Campus Object Dataset (CODa)是由德克萨斯大学奥斯汀分校创建的一个移动机器人自我中心感知数据集，包含8.5小时的多种传感器数据，如同步的3D点云和立体RGB视频。数据集提供了58分钟的地面实况标注，包含130万个3D边界框，用于53个语义类别，以及5000帧的3D语义标注，用于城市地形。数据集通过在室内外环境中重复遍历相同的地理位置，涵盖了广泛的天气条件和一天中的不同时间。CODa旨在用于城市环境中自主导航的3D感知和规划研究，通过实验证明，使用CODa训练的3D物体检测性能显著高于现有数据集，即使在采用最先进的领域适应方法时也是如此。UT Campus Object Dataset (CODa) is an ego-centric perception dataset for mobile robotics developed by The University of Texas at Austin. It encompasses 8.5 hours of multi-sensor data, featuring synchronized 3D point clouds and stereo RGB videos. The dataset offers 58 minutes of ground truth annotations, comprising 1.3 million 3D bounding boxes spanning 53 semantic categories, alongside 5000 frames of 3D semantic annotations for urban terrain. By repeatedly traversing identical geographic locations in both indoor and outdoor settings, the dataset covers a diverse range of weather conditions and varying times of day. CODa is targeted at research on 3D perception and planning for autonomous navigation in urban environments. Experimental validations have shown that the 3D object detection performance trained with CODa is significantly higher than that of existing datasets, even when utilizing state-of-the-art domain adaptation methods.

搜集汇总

数据集介绍

构建方式

在移动机器人感知研究领域，构建具有丰富语义标注的多模态数据集对于提升城市环境下的自主导航能力至关重要。UT Campus Object Dataset (CODa) 的构建过程依托于配备先进传感器套件的Clearpath Husky机器人平台，在德克萨斯大学奥斯汀分校的室内外环境中进行了系统化数据采集。该数据集通过精心设计的四条固定路线，在多样化的天气条件、光照强度及时间跨度下重复遍历相同地理区域，确保了数据的环境覆盖广度与时空多样性。传感器配置包括128通道三维激光雷达、双目RGB相机、主动与被动深度相机以及九自由度惯性测量单元，所有设备均经过严格的硬件同步与标定流程，以保障多模态数据的时间对齐与空间一致性。数据采集过程中还融入了人工操作员监督与隐私保护机制，最终通过第三方专业标注团队对点云数据进行密集的三维边界框与语义分割标注，形成了包含130万个人工标注实例的大规模数据集。

特点

CODa数据集的核心特点体现在其卓越的多模态同步性、广泛的语义覆盖以及高度的环境多样性。该数据集提供了长达8.5小时的多传感器同步数据流，包括高分辨率三维点云、立体视觉图像、RGB-D视频及惯性测量信息，并附有精确的传感器内外参标定数据。在语义层面，CODa突破了现有数据集的局限，提供了涵盖53个对象类别与23种地形类别的精细标注，其中包含对城市导航至关重要的语义实体如门、栏杆、楼梯、紧急电话等类别。尤为突出的是，数据集通过在不同天气（晴朗、多云、雨天、低光照）与时段（早晨、午后、傍晚）下的重复采集，构建了具有显著环境多样性的数据分布，为模型的鲁棒性评估提供了理想基准。此外，数据集还提供了基于SLAM与人工校正的伪真实位姿估计，支持同步定位与地图构建等延伸研究任务。

使用方法

CODa数据集为三维感知算法的训练与评估提供了系统化的使用框架。研究者可利用其提供的多模态同步数据，开发与测试基于激光雷达或跨模态融合的三维目标检测与语义分割模型。数据集已按照70%、15%、15%的比例划分了训练、验证与测试集，确保了数据分布的均衡性。用户可通过官方发布的基准任务——包括基于KITTI评价指标的三维目标检测与基于SemanticKITTI指标的三维语义分割——进行模型性能的标准化评估。此外，数据集支持跨域自适应、传感器分辨率适配等前沿研究，例如通过对比在CODa上微调与在自动驾驶数据集上预训练的性能差异，探索领域迁移的有效策略。数据包中提供的预训练模型（支持16至128通道激光雷达分辨率）及交互式查看工具，进一步降低了研究门槛，促进了算法在真实城市机器人场景中的快速部署与验证。

背景与挑战

背景概述

在自主移动机器人领域，实现城市环境中稳健的三维感知是推动导航与规划任务发展的核心需求。德克萨斯大学奥斯汀分校的研究团队于2023年推出了UT校园物体数据集（CODa），该数据集以机器人自我中心视角采集，包含8.5小时的多模态传感器数据，覆盖室内外多种场景、不同天气与光照条件。CODa提供了130万个三维边界框标注及5000帧地形语义分割标注，涵盖53个物体类别与23种地形类型，其丰富的语义多样性与真实环境复杂性，显著提升了城市场景中三维物体检测与语义分割模型的泛化能力，为机器人感知研究提供了关键数据支撑。

当前挑战

CODa致力于解决城市环境中机器人三维感知的领域挑战，特别是现有自动驾驶数据集因传感器配置、视角差异及语义类别不足导致的模型迁移性能下降问题。构建过程中的挑战包括多传感器同步校准的精度保障、大规模点云与图像数据的人工标注质量控制，以及在复杂动态场景中保持实例ID一致性的难题。此外，数据采集需协调不同天气与时间条件，确保环境多样性，同时处理GPS信号不可靠情况下的全局姿态估计，这些因素共同增加了数据集构建的复杂性与技术门槛。

常用场景

经典使用场景

在机器人自主导航与三维感知领域，UT Campus Object Dataset (CODa) 为研究者提供了一个以移动机器人为中心的城市环境感知基准。该数据集通过多模态传感器同步采集，包括高分辨率激光雷达、立体视觉相机及惯性测量单元，覆盖室内外多样场景，并标注了丰富的三维边界框与语义分割信息。其经典使用场景聚焦于训练和评估三维物体检测与语义分割模型，特别是在复杂城市环境中，如校园、人行道及公共空间，以提升机器人在动态、多变的现实世界中的感知鲁棒性。

实际应用

在实际应用中，CODa 可直接用于开发城市服务机器人、安防巡逻机器人及室内外导览系统。其多模态数据支持机器人进行精确的环境理解与障碍物识别，适用于复杂人流环境中的路径规划与避障。此外，数据集的重复遍历与多样天气条件覆盖，使得基于 CODa 训练的模型能够适应昼夜变化及雨雪天气，提升机器人在真实城市部署中的全天候运行能力，为智慧城市与自动化服务提供技术支撑。

衍生相关工作

基于 CODa 数据集，研究者已衍生出多项经典工作，包括针对三维物体检测的跨域适应方法比较、传感器分辨率对检测性能影响的实证分析，以及预训练模型在 JRDB 等城市机器人数据集上的泛化研究。这些工作不仅验证了 CODa 在提升模型鲁棒性方面的价值，还推动了如 Cylinder3D 和 2DPass 等先进三维语义分割与检测算法的性能评估，为后续研究提供了可靠的基准与启发。