canoe-multimodal

CANOE Multimodal (MCAP) 是一个基于FiftyOne构建的多模态海洋导航数据集，源自ASRL (UTIAS) 的CANOE原始数据集。该数据集包含4个时间同步的MCAP记录片段，来自一艘无人水面艇（USV）在加拿大安大略省湖泊和水库上的航行。每个样本为一个完整的MCAP文件，包含同步的立体相机、雷达、声纳、激光雷达点云、GPS/INS轨迹、IMU及电机速度遥测数据。数据集旨在用于水下导航中的里程计/定位算法基准测试，不包含任何物体或语义标注，仅提供原始传感器流和密集的6自由度地面真值位姿。四个片段覆盖了从全序列（约72秒）到30-60秒的窗口，包括长距离雷达（1000米）和多普勒模式（150米）两种模式。数据集包含14个字段，如sequence_id、route、radar_max_range_m、duration_s、message_count、channel_count、topics等。用户可通过FiftyOne的Python API加载并浏览数据，支持多模态同步播放。

原始信息汇总

数据集概述

CANOE Multimodal (MCAP) 是一个面向多模态海洋导航研究的FiftyOne数据集，基于加拿大ASRL（多伦多大学宇航研究所）发布的CANOE原始数据构建。该数据集将原始的多传感器航行数据重新打包为时间同步的MCAP格式（4个片段），支持FiftyOne原生多模态数据查看功能，可用于检查、演示和原型验证自主水面艇（USV）的导航与定位算法。

---

基本信息

• 数据集规模：包含4个样本（每个样本为一个完整的航行片段），总数据量约5.8 GB（单个样本约1.5 GB）。
• 数据来源：原始CANOE数据集由ASRL收集，覆盖加拿大安大略省一个湖泊和一个水库，历时三天（8个公开序列，14+小时，50 km）。
• 许可协议：CC BY 4.0（继承自原始CANOE发布）。
• 语言：无文本内容（纯传感器数据）。
• 标签/注释：无对象/语义/分类标签，仅包含原始传感器流和密集的地面真值6自由度位姿（由后处理的GNSS/INS提供）。
• 格式：FiftyOne多模态数据集（media_type: "multimodal"），每个样本为一个 .mcap 文件。

---

传感器套件

传感器	规格
雷达	Navtech RAS6 360°雷达，4 Hz，双量程模式：1000 m（远程，0.292 m/bin）或150 m（多普勒，0.0438 m/bin）
激光雷达	128线Ouster OS1，含集成IMU，10 Hz，>100万点/秒
立体相机	Teledyne Bumblebee，10 Hz，1152×2048，已校正
成像声呐	Oculus M3000d，~14 Hz，512波束×378距离单元，30 m最大量程
侧扫声呐	双Starfish 990F（此构建未包含）
电机传感器	2.5 Hz
GNSS/INS	NovAtel OEM7，后处理精度~2-4 cm RMS位置误差，插值至1000 Hz

---

数据内容

每个样本（片段）包含以下16个主题（topics）：

• /cam_left、/cam_left/calibration、/cam_left_lidar_overlay、/cam_right（相机图像）
• /gps（GPS定位）、/imu（IMU数据）、/lidar（激光雷达点云）、/motor（电机状态）、/odom（里程计）、/radar（雷达数据）、/sonar（声呐数据）、/tf（坐标变换）、/velocity（速度）

数据集中包含的传感器类型可通过 has_image、has_pointcloud、has_gps、has_imu、has_logs 等布尔字段进行过滤查询。

---

4个片段详情

序列ID	路线	覆盖范围	雷达最大量程
canoe-2025-08-21-19-16	Sample	完整序列（活动传感器约72秒；GPS/INS连续记录约581秒）	1000 m（远程）
canoe-2025-08-20-16-07	第1天 – 湖岸短路线	30秒窗口	1000 m（远程）
canoe-2025-08-20-18-07	第1天 – 湖岸长路线	60秒窗口	1000 m（远程）
canoe-2025-08-28-14-13	水库多普勒1	60秒窗口	150 m（多普勒）

---

主要字段说明

字段	类型	描述
filepath	String	样本的 .mcap 文件路径
sequence_id	String	原始CANOE序列ID（canoe-YYYY-MM-DD-HH-MM）
route	String	人类可读的路线名称
radar_max_range_m	Int	雷达工作模式（1000或150）
duration_s	Float	片段持续时间（秒）
message_count	Int	总MCAP消息数
channel_count	Int	总MCAP通道数（本数据集所有片段均为13）
topics	List	所有MCAP主题列表
schemas	List	所有Foxglove模式（如foxglove.CompressedImage、foxglove.PointCloud等）
has_image	Boolean	是否存在图像流（所有片段均为True）
has_pointcloud	Boolean	是否存在激光雷达点云流（所有片段均为True）
has_gps	Boolean	是否存在GPS定位流（所有片段均为True）
has_imu	Boolean	是否存在模式解码的IMU流（本数据集所有片段均为False，尽管存在/imu主题）
has_logs	Boolean	是否存在日志流（所有片段均为False）
source	String	数据来源描述

---

处理与转换决策

• 一个样本=一个完整片段：每个样本是一个连续传感器数据窗口，未拆分为逐帧样本。
• 全序列数据量过大：部分序列（如第1天湖岸短路线）达714 GB/1.7小时，因此除Sample序列（8.9 GB）完整下载外，其余3个片段均为固定时长窗口（30-60秒），起始时间对齐到该序列最早传感器时间戳。
• 激光雷达预处理：过滤掉预分配的131,072点/帧中的无效点（距离<0.5 m），避免3D视图原点处出现密集块。
• 雷达和声呐无原生MCAP极坐标模式：使用pycanoe开发工具包中的polar_to_cart()函数解码为伪图像（foxglove.RawImage，mono8）。
• GPS数据提取：针对窗口片段，通过HTTP Range GET方法提取与时间窗口匹配的部分；对Sample序列，解析完整的CSV文件并跳过自由文本元数据头。
• 位置/速度表示：使用激光雷达帧的插值位姿作为代表性船体状态，记录在/tf、/odom、/velocity主题中。
• IMU、电机、速度记录为通用JSON消息：并非专用模式解码类型，因此has_imu为False，但仍可在Plot/Message面板中查看。
• 传感器时间同步说明：传感器并非硬件同步，仅GPS、雷达、激光雷达严格PTP同步；各传感器使用原始时间戳。
• 激光雷达投影到左相机：提供预计算的/cam_left_lidar_overlay图像流和/cam_left/calibration校准消息，支持在FiftyOne多模态查看器中实时投影点云。
• 侧扫声呐未包含：原始数据为聚合文件，无逐帧信息，未解码为MCAP通道。

---

适用场景

• 演示和测试FiftyOne多模态MCAP支持（同步播放相机、雷达、声呐、激光雷达、GPS和遥测数据）。
• 浏览和检查真实水面机器人的航行记录。
• 原型验证针对密集地面真值位姿的定位/里程计算法。

不适用场景

• 复现CANOE官方基准测试（该协议需要完整、未切窗的序列，本数据集仅覆盖4/8个序列）。
• 需要对象/语义标注的任务（CANOE本身不提供此类标签）。
• 不符合CC BY 4.0署名要求的任何用途。

搜集汇总

数据集介绍

构建方式

CANOE多模态数据集由多伦多大学航空航天研究所自治空间机器人实验室（ASRL/UTIAS）在加拿大安大略省的湖泊和水库环境中，通过无人水面艇（USV）采集而成。本构建选取了公开的8个序列中的4个，以MCAP格式封装为FiftyOne多模态数据集，每个样本代表一个时间同步的传感器数据片段。在构建过程中，原始传感器文件通过pycanoe开发工具包解码，包括雷达、激光雷达、立体相机、声纳、GNSS/INS等，并进行时间窗口提取以适应数据规模。所有传感器流被合成为每个片段一个的.mcap文件，保留了原始时间戳和校准信息，但未添加或修改任何地面真值数据。

特点

该数据集最显著的特点是其多模态融合特性，每个样本包含同步的立体相机图像、360°雷达扫描、128线激光雷达点云、成像声纳、高精度GPS/INS轨迹以及电机和惯性测量单元（IMU）遥测数据。它支持FiftyOne的多模态查看器，能够以平铺方式同步播放各种传感器数据，提供时间对齐的沉浸式观察体验。此外，数据集中包含的雷达可在两种模式（1000米长距离和150米多普勒）下运行，增加了环境的多样性。尽管没有对象或语义标注，但提供密集的6自由度位姿真值，适用于自主导航算法的开发与验证。

使用方法

使用该数据集的首要步骤是安装FiftyOne库（版本1.19或更高），然后通过Python API从HuggingFace加载数据集，即调用load_from_hub函数。加载后，用户可以启动FiftyOne应用（fo.launch_app）以图形界面浏览数据，利用其多模态查看器同步探索各传感器的录制内容。对于编程访问，用户可以通过FiftyOne的查询接口筛选样本，例如基于has_image、has_gps等字段选择特定传感器组合的片段。该数据集非常适合演示多模态数据可视化，并可用于开发、测试和评估水上定位与导航算法，尽管部分序列被截断为短时间窗口，但足以支持流程验证和原型设计。

背景与挑战

背景概述

CANOE多模态海洋导航数据集由多伦多大学航空航天研究所的自主空间机器人实验室（ASRL）于2025年创建，旨在应对水上环境中自主水面艇（USV）的定位与导航挑战。该数据集通过集成雷达、激光雷达、立体相机、声呐、GPS/INS、IMU及电机功率等多源传感器，记录了加拿大安大略省湖泊与水库的航行数据，为水上同步定位与建图（SLAM）及里程计算法的基准测试提供了无与伦比的真实环境资源。CANOE数据集的发布填补了水上环境高精度定位基准的空白，其提供的密集6自由度地面真值位姿（~2-4厘米RMS精度）已成为该领域评估算法性能的关键参考，对推动自主水上导航技术的研究与发展具有深远影响。

当前挑战

CANOE数据集面临的挑战主要体现在领域问题和构建过程两方面。在领域问题上，水上环境缺乏显著视觉特征，GPS信号易受多路径效应干扰，且水面动态变化剧烈，使得基于视觉或激光雷达的里程计算法难以获得稳定性能，亟需多传感器融合方案以增强鲁棒性。在构建过程中，原始数据规模庞大（单个序列可达714GB），如何在有限资源下有效划分和压缩数据成为难题；同时，不同传感器由两台独立计算机驱动，时间同步复杂，需精细处理以确保数据对齐；此外，雷达和声呐点云缺乏标准编码格式，需定制解码方案，而GPS文件巨大，需采取分段下载策略，这些均对数据处理的准确性和效率提出了极高要求。

常用场景

经典使用场景

CANOE多模态数据集为水路环境下的自主导航研究提供了弥足珍贵的真实世界数据源。该数据集整合了来自无人水面艇的多类传感器流，涵盖360°雷达、128线激光雷达、双目相机、声呐、GNSS/INS组合导航系统及动力系统遥测等，所有数据均实现时间同步并以MCAP格式封存。研究者凭借此数据集，可对多传感器融合、同步定位与建图（SLAM）、水陆交界处的占有网格构建等经典算法进行严谨的基准测试与验证。通过FiftyOne平台的可视化界面，学者能细致审视不同传感器在湖泊和水库多样环境中的协同表现，进而深入分析各类算法在恶劣水环境下的鲁棒性，推动水上机器人感知技术的进步。

解决学术问题

该数据集精准回应了水上机器人领域长期存在的基准数据匮乏之困，特别是高精度、多模态、同步记录的户外水域数据的稀缺。CANOE提供了经后处理的厘米级精度位姿真值（约2-4 cm RMS），为评估里程计与定位算法的精度和鲁棒性确立了坚实的评判基准。它使得研究者能够突破以往依赖仿真数据或简化的室内水池实验的局限，在真实的湖泊和水库环境中检验算法的泛化能力。这一数据集填补了陆地与空中平台之外，水上平台数据集的空白，极大地推动了水上SLAM和自主导航理论的实证研究，为相关领域的学术探索提供了不可或缺的实验支撑。

衍生相关工作

CANOE数据集的发布催生了一系列卓有成效的衍生研究工作，特别是在水上机器人感知与导航算法验证方面。研究者基于该数据集构建了针对水面环境的专用里程计和SLAM评估框架，推动了多传感器融合定位技术的优化。围绕此数据集，涌现出多篇探讨雷达-视觉-激光雷达融合策略的学术论文，以及专门针对水面弱纹理、动态波浪等挑战性条件的鲁棒位姿估计新方法。此外，该数据集的MCAP重新封装形式也启发了一系列关于机器人数据标准化与多模态可视化的开源工具开发，促进了数据的可复现性和跨平台兼容性研究。这些衍生工作不仅深化了对水上自主导航核心难题的理解，也形成了良性的学术生态，共同促进了该领域的持续革新与蓬勃发展。