Caltech Fish Counting Dataset (CFC)

Caltech Fish Counting Dataset（CFC）是由加州理工学院创建的大型数据集，专注于通过声纳视频检测、跟踪和计数鱼类。该数据集包含超过1500个视频，总计超过半百万的标注，主要用于推动低信噪比环境下的计算机视觉应用和多目标跟踪（MOT）及计数领域的泛化研究。CFC数据集的独特之处在于其数据来源于自然环境，其中目标不易解析，外观特征难以用于目标重新识别，为研究者提供了一个挑战性的基准，以评估和改进算法在未知测试地点的泛化性能。此外，该数据集对于保护生态学等领域具有重要影响，特别是在可持续渔业管理方面。Caltech Fish Counting Dataset (CFC) is a large-scale dataset created by the California Institute of Technology, focusing on detecting, tracking and counting fish via sonar videos. This dataset contains over 1,500 videos with a total of more than half a million annotations, and is primarily used to advance computer vision applications in low signal-to-noise ratio (SNR) environments as well as generalizable research in the fields of multi-object tracking (MOT) and counting. A unique feature of the CFC dataset is that its data is sourced from natural environments, where fish targets are difficult to discern and their appearance features are not conducive to target re-identification. It provides researchers with a challenging benchmark for evaluating and improving the generalization performance of algorithms in unseen test sites. Furthermore, this dataset has important implications for fields such as conservation ecology, especially in sustainable fisheries management.

搜集汇总

数据集介绍

构建方式

在声学成像技术日益成为生态监测重要工具的背景下，Caltech Fish Counting Dataset (CFC) 的构建体现了对自然场景中多目标追踪与计数任务的深度探索。该数据集源自阿拉斯加和华盛顿州三条河流上部署的七台不同声纳摄像机，通过专业机构手动标注服务，对包含鱼类的视频片段进行了精细处理。标注过程中，针对静止鱼类采用每五帧标注并插值的策略，而对运动轨迹则逐帧手动标注边界框，最终在527,215帧视频中完成了对8,254条鱼类轨迹的515,933个边界框标注，确保了数据的高质量与一致性。

特点

CFC 数据集在计算机视觉领域独树一帜，其核心特点在于挑战低信噪比环境下的多目标追踪与计数。与现有集中于城市行人或车辆的数据集不同，CFC 来源于自然水域的声纳视频，目标鱼类在复杂背景中难以分辨，且个体间外观特征相似，使得依赖视觉重识别的传统方法失效。数据集中包含超过1,500段视频，覆盖不同河流、摄像机配置和环境条件，为研究算法在未知测试场景下的泛化性能提供了丰富样本。此外，数据集支持检测、追踪和计数三项任务的联合评估，填补了视频计数领域缺乏轨迹信息的空白。

使用方法

CFC 数据集的使用方法紧密围绕其生态监测应用背景设计。研究者可利用数据集训练多目标追踪与计数算法，并通过预设的数据划分策略评估模型泛化能力：训练集仅来自单一摄像机位置（Kenai Left Bank），而测试集则涵盖其他河流和摄像机部署点，模拟真实场景中的域偏移挑战。评估协议采用垂直线计数法，模拟野外技术人员手动计数流程，通过计算标准化平均绝对误差（nMAE）衡量计数精度。同时，数据集提供检测（AP50）和追踪（MOTA、IDF1、HOTA）等多维度指标，支持算法在复杂声学环境下的全面性能分析。

背景与挑战

背景概述

在计算机视觉领域，自然世界数据的稀缺性限制了多目标跟踪与计数算法在生态监测等实际应用中的泛化能力。为此，加州理工学院联合AWS AI实验室、康奈尔大学等机构于2022年推出了Caltech鱼类计数数据集（CFC），旨在通过声纳视频数据推动低信噪比环境下的视觉算法研究。该数据集聚焦于河流中洄游鱼类的检测、跟踪与计数任务，包含来自阿拉斯加和华盛顿州三条河流的1,567段视频、超过51.6万个标注框，涵盖了七种不同声纳相机配置下的复杂场景。其核心研究问题在于解决自然环境中多目标跟踪的域泛化挑战，并为生态保护中的自动化鱼类监测提供基准支持，对计算机视觉与保护生态学的交叉领域产生了深远影响。

当前挑战

CFD数据集面临的挑战主要体现在两个方面：其一，在领域问题层面，声纳视频中鱼类目标分辨率低、外观特征相似，导致传统依赖视觉重识别的多目标跟踪方法失效，同时复杂背景（如河床纹理、沉积物遮挡）与声学伪影（如斑点噪声、阴影干扰）进一步加剧了检测与计数的难度；其二，在构建过程中，数据采集需协调多地区渔业管理机构，标注工作需应对鱼类运动模糊、轨迹交叉等动态特性，且为研究域泛化设计的跨河流数据划分策略，要求标注体系在不同硬件与环境条件下保持一致性，这为大规模高质量标注带来了显著挑战。

常用场景

经典使用场景

在计算机视觉领域，多目标跟踪与计数任务长期受限于城市环境中行人或车辆的数据集，难以应对自然场景下的复杂挑战。Caltech Fish Counting Dataset (CFC) 通过提供大规模声纳视频数据，为低信噪比条件下的目标检测、跟踪与计数研究设立了全新基准。该数据集包含来自不同河流与相机的超过50万条标注，覆盖了鱼类在复杂水下环境中的迁移轨迹，使得研究者能够深入探索在视觉特征模糊、背景干扰严重的自然场景中，如何实现鲁棒的多目标跟踪与精确计数。

实际应用

该数据集直接服务于生态保护与渔业管理领域，为声纳监测技术提供了自动化分析的可能。在鲑鱼等关键物种的迁徙监测中，传统人工计数方法效率低下且易受主观因素影响。CFC 所支持的计算机视觉算法能够实现对鱼类数量的实时、非侵入式统计，帮助渔业管理部门准确评估种群规模，制定可持续的捕捞策略。此外，数据集所涵盖的多种河流环境与声纳配置，也为算法在实际部署中的泛化能力提供了验证平台。

衍生相关工作

基于 CFC 数据集，研究者已开展多项经典工作，推动了低信噪比环境下视觉算法的发展。例如，通过引入背景减除与帧间差分通道的 Baseline++ 方法，显著提升了检测器在未知测试场景中的泛化性能。同时，该数据集激发了对于运动模型与轨迹关联策略的深入研究，促使学界探索不依赖外观特征的多目标跟踪范式。这些工作不仅深化了对自然场景下视觉任务的理解，也为声纳图像分析、动物行为监测等跨领域应用提供了技术借鉴。