OctoSense

OctoSense 是一个大规模、时间同步且经过校准的多模态自动驾驶数据集。该数据集包含 371 个驾驶序列，总时长 59.0 小时，总里程 2474 公里，数据量达 8.43 TB。数据采集于美国长岛和费城地区，覆盖了城市、郊区和乡村（高速公路/住宅区/市区）等多种道路环境，并包含了日出、白天、日落和夜间等不同光照条件。数据集的核心是多传感器同步采集系统，包括：立体 RGB 相机（1920×1456，100 Hz）、立体事件相机（640×480，约 7 MEv/s）、红外热像仪（320×256，50 Hz）、Ouster OS1-64 线激光雷达（10 Hz）、两个 IMU（400 Hz 和 100 Hz）、GNSS 接收器（5 Hz，支持 RTK）以及车辆 CAN 总线信号。所有传感器数据均基于一个共同的 PPS 同步主时钟进行时间对齐。除了原始传感器数据流，数据集还提供了丰富的地面真值（Ground Truth）和衍生数据：基于 LiDAR 和惯性数据的 RKO-LIO 里程计（自运动）、稀疏的度量深度图（在矫正后的左 RGB 图像中）、由深度和位姿推导出的光流（仅由自运动引起）、基于 Cityscapes 19 类别的语义分割伪标签（仅限 303 个白天序列），以及一个融合了 LiDAR 惯性里程计和 GPS 的参考轨迹（在 UTM 相对世界坐标系中）。此外，每个序列还包含由视觉语言模型生成的场景描述文本（Caption）及其对应的文本嵌入向量，支持基于语义的检索。数据以分层结构组织，主要文件包括：包含 LiDAR、IMU、GPS、CAN、校准参数和融合轨迹的 `data.h5`；存储原始异步事件流的 `events.h5`；H.265 编码的 RGB 和红外视频文件；以及分别存储深度、语义分割和场景描述的地面真值 H5 文件。所有序列的元数据（如持续时间、帧数、GPS 质量、传感器标定 ID 等）集中存储在 `metadata.parquet` 文件中。数据集已划分为 293 个训练序列和 78 个测试序列。该数据集适用于计算机视觉、机器人感知和自动驾驶领域的多项任务研究，特别是深度估计、语义分割、光流估计、里程计/定位、传感器融合以及多模态（尤其是事件相机）表征学习。OctoSense is a large-scale, time-synchronized and calibrated multimodal autonomous driving dataset. This dataset contains 371 driving sequences, with a total duration of 59.0 hours, a total mileage of 2474 kilometers, and a total data volume of 8.43 TB. The data was collected in Long Island and Philadelphia, USA, covering various road environments such as urban, suburban, and rural (highway/residential/urban downtown) areas, as well as different lighting conditions including sunrise, daytime, sunset, and nighttime. The core of this dataset is the multi-sensor synchronous acquisition system, which includes: stereo RGB cameras (1920×1456, 100 Hz), stereo event cameras (640×480, ~7 MEv/s), infrared thermal cameras (320×256, 50 Hz), Ouster OS1-64 channel LiDAR (10 Hz), two IMUs (400 Hz and 100 Hz), a GNSS receiver (5 Hz, supporting RTK), and vehicle CAN bus signals. All sensor data is time-aligned based on a common PPS synchronization master clock. In addition to the raw sensor data streams, the dataset also provides abundant Ground Truth and derived data: RKO-LIO odometry (egomotion) based on LiDAR and inertial data, sparse metric depth maps (in rectified left RGB images), optical flow derived from depth and pose (only caused by egomotion), semantic segmentation pseudo-labels based on the 19 categories of Cityscapes (only for 303 daytime sequences), and a reference trajectory fused with LiDAR-inertial odometry and GPS (in the UTM relative world coordinate system). In addition, each sequence also contains scene caption texts generated by Vision-Language Models (VLMs) and their corresponding text embedding vectors, enabling semantic-based retrieval. The data is organized in a hierarchical structure. The main files include: "data.h5" which contains LiDAR, IMU, GPS, CAN, calibration parameters and fused trajectories; "events.h5" which stores the raw asynchronous event stream; H.265 encoded RGB and infrared video files; and Ground Truth H5 files that store depth, semantic segmentation and scene descriptions respectively. Metadata of all sequences (such as duration, frame count, GPS quality, sensor calibration ID, etc.) is centrally stored in the "metadata.parquet" file. The dataset has been split into 293 training sequences and 78 test sequences. This dataset is applicable to multiple research tasks in the fields of computer vision, robotic perception and autonomous driving, especially depth estimation, semantic segmentation, optical flow estimation, odometry and localization, sensor fusion, and multimodal (especially event camera) representation learning.

原始信息汇总

数据集总览

OctoSense 是一个多传感器驾驶数据集，专为机器人感知和自动驾驶研究设计。数据集包含 371 个序列，总时长 59 小时，行驶距离 2,474 公里，总数据量 8.43 TB。数据采集覆盖纽约长岛和费城地区的城市、郊区和乡村道路（高速公路、住宅区、市区），并涵盖日出、白天、日落和夜间时段。

传感器配置

模态	传感器	分辨率	频率
RGB (立体)	2× FLIR Blackfly S (Sony IMX421)	1920×1456	100 Hz
事件相机 (立体)	2× SilkyEV VGA (Prophesee)	640×480	~7 MEv/s
热红外	FLIR A35	320×256	50 Hz
LiDAR	Ouster OS1-64	64线 × 2048点	10 Hz
IMU	VectorNav VN-100T	加速度/陀螺仪/磁力计/气压计/温度	400 Hz
IMU (LiDAR内置)	IAM-20680HT	加速度/陀螺仪	100 Hz
GNSS	u-blox ZED-F9P	RTK (NTRIP)	5 Hz
车辆	2021款马自达CX-5	CAN信号	50–100 Hz

数据格式

每个序列的数据按 <session>/<bag_id>/ 目录组织，包含以下文件：

• data.h5：主数据文件，包含时间戳、IMU、GPS、CAN、LiDAR（去畸变后的距离/信号/近红外/反射率）、RKO-LIO里程计、融合GPS+LIO轨迹 (fused_traj)、外参 (/calib)。
• events.h5：原始异步事件流（左/右），占序列数据量约78%。
• img_{left,right,infrared}.mp4：各相机H.265编码视频（左RGB、右RGB、红外），左RGB视频为1920×1456分辨率。
• rgb_left_rect_depth.h5：在校正后的左RGB图像中的稀疏度量深度（depth_cm，单位cm，0=无效），由约6秒（61帧）LiDAR扫描累积构建，并移除了动态物体。
• rgb_left_rect_semantic.h5：在校正后的左RGB图像中的19类Cityscapes伪标签语义分割（仅限白天序列，303个序列）。
• captions.h5：每个序列按约5秒窗口划分的场景描述（Gemma-4-31B VLM生成）及对应的文本嵌入向量（Qwen3-Embedding-8B，4096维），支持自由文本检索。

坐标框架与标定

所有外参以4×4矩阵 A_T_B 形式存储于 data.h5 的 /calib 组中，表示从坐标系 B 到坐标系 A 的变换。主要坐标系缩写：imgl/imgr（左/右RGB）、evl/evr（左/右事件）、ir（红外）、ouster（LiDAR）、imu（VectorNav IMU）。

每个序列还附带独立的标定文件（Kalibr格式），包括四相机链标定（calibration-camchain.yaml）、相机-IMU联合标定、LiDAR-相机标定及红外相机标定。

真值标注

• 里程计/自我运动：RKO-LIO LiDAR-惯性里程计，提供LiDAR在地图坐标系下的SE(3)位姿、线速度和角速度。
• 深度：在校正的左RGB图像中的稀疏度量深度，由多帧LiDAR扫描累积，移除了动态物体。
• 光流：由自我运动推导得出（需执行derive_flow.py脚本从深度和位姿生成），不直接存储。
• 语义分割：19类Cityscapes伪标签，覆盖白天序列（303个）。
• 融合参考轨迹：RKO-LIO里程计与GPS通过位姿图融合得到，位于UTM相对世界坐标系，包含地理参考和融合质量信息。

数据集划分

• 训练集：293个序列
• 测试集：78个序列
• 按序列级别划分，在不同版本中保持一致。
• 包含白天（303序列）、夜间（68序列）和退化条件（4序列）数据。

元数据字段 (metadata.parquet，共27个字段)

bag_id, session, start_time, split, is_daytime, degraded, has_seg, duration_s, n_lidar_frames, n_rgb_frames, n_imu_samples, n_events_left, n_events_right, n_gps_fixes, n_gps_valid, gps_quality, gps_lat_min/max, gps_lon_min/max, mean_speed_mph, idle_fraction, distance_m, rgb_cal_id, imu_cal_id, lidar_cal_id, sensor_dropout

• gps_quality 取值：RTK_fixed_cm (67个序列)、float_dm (62个)、single_m (239个)、no_fix (2个)、absent (1个)。
• sensor_dropout：记录传感器掉线情况，格式为 sensor:seconds[;sensor:seconds]。

已知限制与注意事项

• 光流仅由自我运动推导，不捕捉动态物体的独立运动。
• 语义分割仅限白天序列（303个）。
• 约5个序列存在超过10秒的传感器掉线，3个序列无可用GPS，5个序列无 fused_traj。
• 红外相机的标定为近似值，且帧率偶尔低于标称的50 Hz。
• LiDAR时钟为PPS步进同步，而非卡尔曼平滑对齐。
• IMU受车辆振动影响（道路和发动机振动残留）。
• RKO-LIO在序列开始时有冷启动瞬态，初始几米可能位姿抖动。
• LiDAR去畸变采用恒加速度近似，快速运动场景可能存在残留畸变。
• 深度真值可能包含LiDAR噪声（雨、雪、雾、反光体等造成的虚假点）。
• 少数序列因吸盘松动导致平台垂直晃动。

引用

bibtex @misc{bisulco2026octosense, title = {{OctoSense}: Self-Supervised Learning for Multimodal Robot Perception}, author = {Bisulco, Anthony and Wang, Jeremy and Daniilidis, Kostas and Balestriero, Randall and Chaudhari, Pratik}, year = {2026}, howpublished = {Preprint}, }

许可

MIT License — 可自由使用、修改和再分发，需注明出处；按“原样”提供，不提供任何担保。

搜集汇总

数据集介绍

构建方式

OctoSense数据集是一个精心构建的、时间同步的多传感器驾驶数据集，涵盖了长岛和费城地区的城市、郊区和乡村道路场景。数据采集平台搭载了立体RGB相机、立体事件相机、红外相机、Ouster 64线激光雷达、双IMU、GPS以及CAN总线设备，所有传感器通过PPS脉冲实现时钟同步。数据集总计包含371个序列，时长59小时，行驶里程达2474公里，原始数据量高达8.43 TB。深层真实值（深度、自运动光流和语义分割）通过激光雷达扫描累积与YOLO动态物体剔除生成，并辅以RKO-LIO雷达惯性里程计与GPS融合的参考轨迹，同时提供了完整的传感器标定文件，涵盖相机、IMU及激光雷达之间的内外参。

使用方法

OctoSense数据集提供了便捷的Python加载方式，用户可通过h5py与pyarrow解析存储于HDF5和Parquet格式中的数据。深度和语义标签以每帧1920×1456分辨率存储于校正后的左RGB图像空间，RGB与红外视频流则采用H.265编码，可利用torchcodec直接解码。数据对齐建议严格依据时间戳而非索引索引进行，因为各传感器频率差异显著（RGB约100Hz，激光雷达约10Hz）。数据集已预划分293个序列作为训练集、78个作为测试集，并提供metadata.parquet包含27个属性字段。用户可结合提供的derive_flow.py脚本从深度与位姿推导自运动光流，也可通过嵌入向量对场景描述进行语义检索。

背景与挑战

背景概述

OctoSense数据集由宾夕法尼亚大学GRASP实验室的Anthony Bisulco、Jeremy Wang、Kostas Daniilidis、Randall Balestriero和Pratik Chaudhari等研究人员于2026年创建，旨在为多模态机器人感知与自动驾驶研究提供一个高度同步、标定完整的大规模实车驾驶数据集。该数据集包含371个序列、59小时、2474公里、8.43TB的多模态数据，覆盖美国长岛和费城地区的城市、郊区和高速公路场景，并跨越日出、白天、日落及夜晚等多种光照条件。其核心研究问题聚焦于如何整合立体RGB、事件相机、红外热成像、64线LiDAR、双IMU、GPS和CAN总线等多源感知信息，以推动深度估计、语义分割、光流、自运动估计及传感器融合等领域的自监督学习与多模态感知研究。OctoSense的发布为自动驾驶与机器人领域提供了一个兼具规模、多样性与高精度真值基准的公开数据集，有望促进感知算法在复杂动态环境下的鲁棒性提升。

当前挑战

OctoSense所解决的领域核心挑战在于多模态感知数据在真实驾驶场景中的高精度同步与融合问题，尤其是如何统一异构传感器（如事件相机与传统帧相机、LiDAR与IMU）的时空坐标体系，从而为深度估计、语义分割和自运动预测等任务提供可靠的标注信息。数据集构建过程中面临的技术挑战包括：在59小时驾驶中保持所有传感器的时间同步（基于PPS与Kalman平滑），并完成多达8个视觉与激光传感器间的精确外参标定（采用Kalibr链式标定）；LiDAR深度真值需从累计约6秒的61帧扫描中剔除动态物体（通过YOLO26）并取最小深度生成；夜间与退化条件下无法获得语义分割标签（仅303个白天序列有标注）；红外热成像标定因缺乏加热靶标仅能近似估计；LiDAR去畸变采用常加速度近似，在急转弯或颠簸路段存在残余畸变；部分序列存在传感器丢失、GPS低精度及平台抖动等问题，这些均对数据质量与算法鲁棒性提出了严峻考验。

常用场景

经典使用场景

OctoSense数据集为多模态感知与自动驾驶研究提供了前所未有的精细化场景支持。该数据集通过时间同步与标定的多传感器套件——包括立体RGB、立体事件相机、红外热成像、64线Ouster激光雷达、双IMU、GPS及CAN总线数据——在长达59小时、覆盖2474公里的真实驾驶轨迹中，捕捉了城市、郊区与高速公路的日间、夜间及退化环境。其最经典的使用场景在于深度融合感知任务的基准测试，研究者可借助其同步的多模态数据流，系统性地评估深度估计、光流计算、语义分割与视觉里程计等核心模块在跨光照条件下的协同表现。

解决学术问题

该数据集的发布破解了长期困扰学术界的多模态感知数据孤岛难题。传统数据集往往仅提供单一传感器模式或有限的环境覆盖，而OctoSense通过提供同一时间戳下对齐的八种传感器模态与精确的外参标定，使得研究者能够深入探索传感器融合中的模态互补性与时间对齐精度。特别是其内置的稀疏度量深度真值——由61帧激光雷达扫描累积并去除动态物体后投影至校正图像——为解决恶劣天气与低光照下的深度估计鲁棒性问题提供了可靠基准。此外，数据集中记录的RTK固定解GPS与融合轨迹，使得全局定位与局部里程计的联合优化研究得以在真实长距离场景中验证，显著推动了高精度定位与建图算法的迭代。

实际应用

在实际工程应用中，OctoSense为自动驾驶系统的全天候环境感知提供了关键验证平台。其囊括的立体事件相机与红外热成像数据，特别适用于夜间或无照明道路下的运动目标检测与跟踪，弥补了传统RGB相机在低能见度场景中的性能衰减。同时，基于其发布的校准文件与数据流，工业界可直接复现并优化实时多传感器融合算法，例如将LiDAR点云与事件流进行时空匹配以提升高速运动下的障碍物感知精度。此外，该数据集预提取的VLM场景描述与文本嵌入向量，使得研究者能够搭建自然语言驱动的语义检索系统，帮助自动驾驶车辆在复杂路况中快速理解环境语境，从而提升决策系统的情境适应性。

数据集最近研究

最新研究方向

OctoSense数据集最新研究方向聚焦于多传感器融合与自监督学习在机器人感知中的前沿探索，尤其针对复杂动态环境下的深度估计、语义分割、光流计算与自主导航。该数据集整合了立体RGB、事件相机、红外、LiDAR、IMU、GPS及CAN信号的同步高保真数据，覆盖白昼、夜间及退化条件（如雨雪、薄雾），共371序列、59小时、2474公里行驶里程，数据规模达8.43TB。研究热点包括利用事件相机与LiDAR的互补特性增强感知鲁棒性，结合自监督方法训练泛化模型以应对极端光照与动态交通场景，以及通过伪标签语义分割与稀疏深度真值推动城市驾驶理解。OctoSense的发布弥补了现有数据集在恶劣天气和高速机动场景下的数据缺口，为多模态传感器融合与端到端自动驾驶系统提供了关键基准，尤其在罕见事件捕获与长尾分布问题中的影响深远。