Ithaca365

Ithaca365数据集由康奈尔大学创建，专注于在重复和挑战性天气条件下自动驾驶感知的研究。该数据集通过在15公里的路线上重复记录数据，涵盖了城市、高速公路、乡村和校园等多种场景，以及雪、雨、阳光等多种天气条件。数据集包含超过68万帧的LiDAR、图像和GPS数据，并提供了道路和对象的注释，包括3D边界框和模态掩码，以捕捉部分遮挡。Ithaca365数据集的独特之处在于其重复路线的设计，这为对象发现、持续学习和异常检测等研究方向开辟了新的可能性。此外，数据集还引入了新的评估指标，用于正确评估道路和背景类别的模态分割性能，展示了其在自动驾驶感知任务中的实用性和重要性。

The Ithaca365 dataset, developed by Cornell University, focuses on autonomous driving perception research under repetitive and challenging weather conditions. It collects data by repeatedly traversing a 15-kilometer route, covering diverse scenarios including urban areas, highways, rural roads, and campuses, as well as various weather conditions such as snow, rain, and sunlight. The dataset contains over 680,000 frames of LiDAR, image, and GPS data, and provides annotations for roads and objects, including 3D bounding boxes and modal masks to capture partial occlusions. What distinguishes Ithaca365 is its repeated route design, which unlocks new research opportunities for tasks such as object discovery, continual learning, and anomaly detection. Additionally, the dataset introduces novel evaluation metrics to accurately assess the modal segmentation performance of road and background categories, demonstrating its practicality and significance in autonomous driving perception tasks.

搜集汇总

数据集介绍

构建方式

在自动驾驶感知研究领域，构建能够应对复杂天气条件的数据集至关重要。Ithaca365数据集通过创新的数据采集流程构建而成，其核心在于对一条15公里固定路线进行了长达一年半的重复性数据采集。研究团队利用配备多模态传感器的自动驾驶平台，在多样化的场景（如城区、高速公路、乡村、校园）以及极具挑战性的天气条件（包括降雪、降雨、晴朗、多云及夜间）下，共计完成了40次数据采集行程，累积超过68万帧数据。该数据集不仅包含来自摄像头和激光雷达的图像与点云数据，还通过高精度GPS/INS系统确保了不同行程间数据的精确对应关系，为研究环境动态变化提供了坚实基础。

特点

该数据集的核心特征体现在其前所未有的多样性与标注深度。首先，它系统性地涵盖了包括积雪、降雨、夜间在内的多种恶劣天气与光照条件，有效弥补了现有数据集中此类场景的缺失。其次，数据集引入了非模态标注范式，不仅为道路提供了非模态掩码，还对车辆、行人等六类前景目标进行了非模态实例分割标注，能够捕捉被部分遮挡物体的完整形态，这对于复杂交通场景下的安全感知至关重要。最后，基于重复路线采集的特性，使得同一地理位置的跨条件对比分析成为可能，为物体发现、持续学习等新兴研究方向开辟了道路。

使用方法

Ithaca365数据集为自动驾驶感知算法的鲁棒性评估与训练提供了多维度的基准平台。研究者可利用其丰富的非模态标注，开发并评估道路分割、实例分割及3D目标检测模型在跨天气域下的性能。数据集已按天气条件和地理位置进行了细致划分，支持域适应、域泛化等相关研究。具体而言，对于道路分割任务，建议采用其新提出的基于距离（近/远）的评价指标，以更准确地衡量模型对远处道路的感知能力。对于3D检测等任务，重复路线采集的数据可用于分析场景的持久性与瞬变性，辅助进行假阳性过滤。数据集的官方划分与基线模型代码为相关研究提供了可复现的起点。

背景与挑战

背景概述

自动驾驶感知系统的稳健性依赖于在多样化环境下的充分训练与评估，然而现有数据集多采集于特定地点与良好天气条件，限制了模型在恶劣气象下的泛化能力。为此，康奈尔大学与俄亥俄州立大学的研究团队于2022年发布了Ithaca365数据集，旨在通过创新的数据采集流程——在长达1.5年的时间里，沿一条15公里固定路线重复进行40次数据收集，涵盖雪、雨、晴、阴及夜间等多种天气与光照条件，以及城市、高速、乡村、校园等多样场景。该数据集不仅提供了相机图像、激光雷达点云及高精度GPS/INS数据，更首次引入了非模态（amodal）标注，包括道路与物体的遮挡部分完整掩码及3D边界框，为自动驾驶在复杂真实环境中的感知鲁棒性研究奠定了关键基础。

当前挑战

Ithaca365数据集致力于解决自动驾驶感知在重复且挑战性天气条件下的核心难题，其构建与应用面临多重挑战。在领域问题层面，数据集需应对非模态感知这一前沿挑战，即要求模型推断被遮挡物体与场景的完整结构与语义，这在雪、雨、夜间等视觉退化严重的条件下尤为困难；同时，跨天气域的泛化能力评估成为关键，需设计如基于距离分段的评价指标以揭示模型在远距离像素分割上的性能差距。在构建过程中，挑战主要体现在高效获取大规模非模态标注：研究团队通过重复路线采集，利用良好天气下的标注，借助点云地图与GPS位姿跨条件迁移至恶劣天气场景，并采用半自动标注流程与人工校验，以确保遮挡部分标注的准确性与一致性，这一过程需克服传感器同步、跨天气点云配准及标注质量验证等技术难点。

常用场景

经典使用场景

在自动驾驶感知研究领域，Ithaca365数据集因其在重复路线上采集的多天气条件数据而成为经典基准。该数据集最经典的使用场景是训练和评估模型在恶劣天气下的鲁棒性，特别是针对雪天、雨天和夜间等挑战性环境。研究者利用其提供的模态分割标注，能够开发出在复杂交通场景中准确推断被遮挡物体完整形状的算法，这对于确保自动驾驶车辆在真实世界多变条件下的安全导航至关重要。

实际应用

该数据集的实际应用直接服务于自动驾驶系统的安全部署。汽车制造商和科技公司利用其多天气条件数据来测试和优化感知模块，确保车辆在雪地、暴雨和夜间等恶劣环境下仍能准确识别道路、行人及车辆。基于模态分割能力开发的算法可帮助自动驾驶系统预测被部分遮挡物体的完整形态，从而做出更安全的路径规划决策。这些改进对于推动全天气自动驾驶技术的商业化落地具有重要工程价值。

衍生相关工作

Ithaca365数据集催生了一系列重要的衍生研究工作。在模态分割方向，研究者基于其标注开发了改进的语义前景修复模型，并引入了位置与通道注意力机制来增强遮挡推理能力。在3D物体检测领域，该数据集的重复路线特性启发了利用多轨迹信息进行虚假阳性过滤和物体发现的新方法。同时，其跨天气评估基准促进了域自适应和鲁棒深度估计算法的创新，为自动驾驶感知系统的全天气鲁棒性研究设立了新的标准。