Pacific nurse shark aerial imagery dataset

该数据集由斯坦福大学等机构创建，包含648,000帧太平洋护士鲨的无人机航拍图像，数据采集自哥斯达黎加圣埃伦娜湾的两个地点，历时23个月。数据集涵盖了不同水质、光照和风浪条件下的图像，旨在通过深度学习模型分析海洋动物的行为和生物特征。数据集的应用领域包括海洋生态学研究，特别是鲨鱼的运动生态学和生物特征提取，如体长和尾拍频率等。通过减少传统机器学习工作流程中的人力需求，该数据集为科学家提供了更高效的工具来研究海洋生态系统。

This dataset was created by Stanford University and other institutions, consisting of 648,000 drone aerial images of Pacific nurse sharks. The data was collected over 23 months at two locations within the Gulf of Santa Elena, Costa Rica. The dataset encompasses images captured under diverse water quality, lighting, wind and wave conditions, with the aim of analyzing marine animal behavior and biological characteristics via deep learning models. Its application fields cover marine ecological research, particularly shark locomotor ecology and biological feature extraction such as body length and tail beat frequency. By reducing the labor requirements in traditional machine learning workflows, this dataset provides scientists with a more efficient tool for studying marine ecosystems.

搜集汇总

数据集介绍

构建方式

Pacific nurse shark aerial imagery dataset 的构建基于无人机在哥斯达黎加圣埃伦娜湾的两个野外站点（Matapalito Beach 和 Sortija Beach）进行的长期数据采集。数据集采集时间为2022年至2024年，历时23个月，涵盖了不同水质、光照和风浪条件下的图像。无人机以预编程路径飞行，以30帧每秒的速度记录连续视频，分辨率为3840×2160。最终，数据集包含648,000帧图像，经过筛选后保留了18,400张图像，其中包含9,200张有鲨鱼的图像和9,200张无鲨鱼的图像，确保了数据集的平衡性。

特点

该数据集的特点在于其多样性和规模。它涵盖了不同环境条件下的太平洋护士鲨图像，包括不同的潮汐、水质、水面反光和波浪条件。数据集的规模使其成为近岸鲨鱼无人机图像的最大公开数据集之一。此外，数据集还包含了手动标注的边界框和分割掩码，为机器学习模型的训练和评估提供了高质量的基准数据。数据集的时间块划分策略避免了训练和测试集之间的帧重叠，确保了模型的泛化能力。

使用方法

该数据集主要用于训练和评估对象检测和分割模型，特别是用于研究太平洋护士鲨的运动生态学。数据集可以通过计算机视觉标注工具（CVAT）进行进一步标注和处理。研究人员可以使用该数据集来训练深度学习模型，如YOLOv8和DETR，并通过FLAIR方法进行零样本分割和跟踪。此外，数据集还可用于计算鲨鱼的生物特征，如长度和尾拍频率，从而为海洋生态学研究提供关键信息。

背景与挑战

背景概述

Pacific nurse shark aerial imagery dataset 是由斯坦福大学的研究团队于2022年至2024年间在哥斯达黎加的圣埃伦娜湾收集的，旨在通过无人机技术研究海洋动物的行为与生物特征。该数据集包含超过18,000张无人机拍摄的太平洋护士鲨图像，涵盖了不同环境条件下的影像数据。研究团队开发了一种名为FLAIR的框架，利用Segment Anything Model 2 (SAM2) 和 Contrastive Language-Image Pre-training (CLIP) 技术，实现了对鲨鱼的零样本跟踪与生物特征提取。该数据集的创建为海洋生态学研究提供了重要的工具，尤其是在鲨鱼种群监测与行为分析方面具有广泛的应用前景。

当前挑战

Pacific nurse shark aerial imagery dataset 在构建与应用过程中面临多重挑战。首先，无人机拍摄的影像数据受环境因素（如水体浑浊度、光照条件、波浪等）影响较大，导致图像质量不稳定，增加了目标检测与分割的难度。其次，传统的目标检测模型依赖于大量标注数据，而海洋动物的标注工作耗时且成本高昂。此外，模型在跨物种和跨环境下的泛化能力有限，难以应对不同鲨鱼物种的多样性。FLAIR框架的提出虽然减少了标注需求，但在复杂环境下的分割精度仍有待提升，尤其是在水体浑浊或鲨鱼与背景相似的情况下，分割误差可能影响后续生物特征提取的准确性。

常用场景

经典使用场景

Pacific nurse shark aerial imagery dataset 最经典的使用场景是通过无人机采集的海洋动物图像进行机器学习和深度学习分析。该数据集包含超过18,000张太平洋护士鲨的无人机图像，广泛用于训练和测试目标检测模型，尤其是用于研究海洋动物的运动生态学和行为模式。通过该数据集，研究人员能够开发出高效的算法，自动识别和跟踪海洋动物，从而减少人工标注的工作量。

衍生相关工作

该数据集衍生了许多相关经典工作，尤其是在海洋动物自动检测和跟踪领域。基于该数据集，研究人员开发了FLAIR（Frame Level ALIgment and tRacking）方法，该方法结合了Segment Anything Model 2 (SAM2) 和 Contrastive Language-Image Pre-training (CLIP)，能够在无需标注数据的情况下进行目标检测和分割。此外，该数据集还推动了其他目标检测模型（如YOLOv8和DETR）在海洋生态学中的应用，进一步提升了无人机图像分析的效率和准确性。这些工作为未来的海洋生态研究提供了重要的技术基础。

数据集最近研究

最新研究方向

近年来，随着无人机技术在海洋生态研究中的广泛应用，基于无人机影像的海洋动物追踪与生物特征提取成为研究热点。Pacific nurse shark aerial imagery dataset 作为该领域的重要数据集，推动了基于深度学习的自动化分析技术的发展。特别是，Frame Level ALIgment and tRacking (FLAIR) 方法的提出，通过结合 Segment Anything Model 2 (SAM2) 和 Contrastive Language-Image Pre-training (CLIP) 的零样本学习能力，显著减少了传统机器学习流程中的人工标注和模型训练需求。FLAIR 不仅能够高效生成鲨鱼的精确分割掩码，还能自动提取长度、尾拍频率等生物特征，极大提升了海洋动物行为研究的效率。这一方法在太平洋护士鲨数据集上的表现优于传统目标检测模型，并展示了其在其他鲨鱼物种上的泛化能力，为海洋生态系统的长期监测和生物多样性保护提供了强有力的技术支持。

相关研究论文

• Zero-shot Shark Tracking and Biometrics from Aerial Imagery

  斯坦福大学, 弗林德斯大学, 哥斯达黎加大学海洋与湖泊学研究中心 · 2025年