MBARI-org/DeepSea-MOT

DeepSea MOT是一个深海视频多目标跟踪的基准数据集，包含4个视频序列（2个中水层，2个底层），共有2400帧和57376个注释对象，组成188个轨迹。该数据集展示了各种海洋物种和海底场景，由Monterey Bay Aquarium Research Institute使用远程操作车辆在深海环境中捕获。DeepSea MOT is a benchmark dataset for multi-object tracking on deep-sea video, consisting of 4 video sequences (2 midwater, 2 benthic) with a total of 2,400 frames and 57,376 annotated objects comprising 188 tracks. The dataset showcases a variety of marine species and underwater scenes captured by Monterey Bay Aquarium Research Institute using remotely operated vehicles in deep-sea environments.

搜集汇总

数据集介绍

构建方式

深海多目标跟踪数据集DeepSea MOT由蒙特雷湾水族馆研究所（MBARI）基于其远程操作潜水器Doc Ricketts和Ventana在深海水域采集的视频构建而成。数据集涵盖4个原始视频序列（2个中层水域和2个底栖环境），包含2400帧图像，共计57376个标注对象与188条轨迹。此外，近期新增了2个4K分辨率序列和5个海洋垃圾序列，分别由MBARI和IFREMER提供。所有标注均由领域专家完成，采用MOT Challenge格式的ground truth文件存储，并辅以YOLO和Pascal VOC格式的检测标注，确保多任务兼容性。

使用方法

研究人员可直接使用MOT Challenge格式的gt.txt文件进行跟踪性能评估，或利用YOLO与Pascal VOC格式训练检测模型。数据集组织方式遵循TrackEval规范，通过seqinfo.ini文件定义序列元数据，支持一键式评测。图像帧以JPG格式存储于独立目录，便于加载与预处理。用户可参考配套论文及工作流文档（docs.mbari.org/benchmark_eval）复现基线结果或自定义实验，适用于水下机器人视觉、生物种群监测等研究场景。

背景与挑战

背景概述

深海环境作为地球上最神秘且难以抵达的生态系统之一，其生物多样性与动态过程长期缺乏高效的观测手段。为弥补这一空白，蒙特利湾水族馆研究所（MBARI）的研究人员Kevin Barnard、Elaine Liu等人在2025年构建了DeepSea MOT数据集，旨在推动深海视频中的多目标跟踪研究。该数据集包含来自远程操控潜水器Doc Ricketts与Ventana采集的4个视频序列（涵盖中层水域与底栖环境），总计2400帧、57376个标注对象及188条轨迹，并随后扩展了4K分辨率与海洋垃圾序列。作为首个面向深海场景的多目标跟踪基准，DeepSea MOT不仅为水下视觉感知提供了标准化评估平台，更促进了海洋生物学、生态监测与计算机视觉领域的交叉融合，其影响力已延伸至深海资源管理与环境保护等应用层面。

当前挑战

DeepSea MOT所应对的领域挑战集中于深海环境下多目标跟踪的独特困难：光照极度不均、悬浮颗粒物导致严重遮挡、生物体形态多变且运动轨迹不规则，以及低对比度背景中目标辨识度极低，这些因素使得传统陆地跟踪算法直接迁移时性能显著衰减。在数据集构建过程中，研究者面临多重技术壁垒：深海视频中生物目标尺寸微小且分布稀疏，需依赖领域专家进行逐帧精准标注，耗时且主观性强；不同ROV采集的影像在分辨率、帧率与色彩表征上存在显著差异，统一标注标准与格式转换（如MOT Challenge、YOLO及Pascal VOC格式）需兼顾兼容性与效率；此外，海洋垃圾序列的引入要求重新定义类别映射，进一步增加了数据一致性与跨场景泛化的复杂性。

常用场景

经典使用场景

DeepSea MOT数据集经典应用于深海视频中的多目标跟踪任务，涵盖中水层与底栖环境下的复杂生物运动轨迹。其精心标注的188条轨迹与逾五万七千个目标实例，为评估跟踪算法在低光照、高噪声、目标形变剧烈等深海特有挑战下的鲁棒性提供了标准化基准。研究者常利用该数据集验证基于检测的跟踪范式（如DeepSORT、ByteTrack）在海洋生物场景中的迁移能力，或探索端到端跟踪模型对稀疏、非刚性目标的响应特性。

解决学术问题

该数据集系统性地回应了深海视觉感知领域长期缺乏标注基准的困境，填补了多目标跟踪技术在极端水下环境中的评估空白。通过提供包含不同难度等级（简单/困难）及多种底质类型的视频序列，DeepSea MOT使学界得以量化分析光照衰减、背景杂波、目标遮挡与尺度骤变等因素对跟踪精度的影响，进而推动适应深海场景的注意力机制与数据增强策略的研发，深化对动态海洋生态系统的计算理解。

实际应用

在实际应用中，DeepSea MOT支撑着自动化海洋生物监测系统的构建，助力深海生态学家借助计算机视觉手段替代传统人工视频审查，大幅提升对脆弱深海种群丰度与行为模式的观测效率。其衍生工具已部署于蒙特雷湾水族馆研究所的ROV作业流程中，用于实时辨识底栖生物群落、量化海洋垃圾分布，并为深海采矿环境影响评估提供低成本、高频率的视觉监控方案。

数据集最近研究

最新研究方向

在深海视觉感知领域，多目标跟踪（MOT）技术正面临前所未有的挑战与机遇。DeepSea MOT数据集作为首个专为深海视频设计的基准，近期研究聚焦于复杂水下环境中的鲁棒性跟踪，尤其针对低光照、生物体形态多变及背景混杂等难点。前沿方向包括结合高分辨率4K视频序列与海洋垃圾检测序列，推动模型从实验室场景向真实深海作业迁移。这一工作不仅呼应了全球海洋生态保护与塑料污染治理的热点议题，还为自主水下机器人（AUV/ROV）的智能感知能力提供了关键训练与评估基础，其意义在于弥合计算机视觉与深海科学之间的鸿沟，助力深海生物多样性监测和生态修复的自动化进程。