Fishnet Open Images Database

一个用于商业渔船上鱼类检测和细粒度分类的大型电子监测图像数据集，包含86,029张图像和34个对象类别，是目前最大且最多样化的公共渔业电子监测图像数据集。

A large-scale electronic monitoring image dataset for fish detection and fine-grained classification on commercial fishing vessels, consisting of 86,029 images and 34 object categories. It is currently the largest and most diverse public electronic monitoring image dataset for fisheries.

搜集汇总

数据集介绍

构建方式

在渔业电子监测领域，数据获取常受制于行业分散性与隐私法规，Fishnet Open Images Database的构建过程体现了对此类挑战的系统性应对。研究团队通过与渔业管理机构和电子监测服务提供商协商，获取了原始视频及高层级渔获标注，包括时间戳与物种分类信息。基于这些标注，从视频片段中按每秒一帧的速率提取图像，并借助专业数据标注公司Sama进行边界框标注。为确保数据隐私，所有图像均经过人工审核以消除个人可识别信息，并对人脸进行模糊处理，同时排除可能泄露船舶身份的画面角度。

特点

该数据集显著体现了渔业电子监测影像的复杂性与多样性，共包含86,029张图像，涵盖34个对象类别，是目前该领域规模最大、最具多样性的公开数据集。其核心特点在于真实反映了海上作业环境的诸多挑战：物种间视觉相似度高、类别分布呈现长尾形态、恶劣天气条件导致能见度降低，以及船员活动造成的遮挡现象。数据集特别提供了精细粒度（L1）与粗粒度（L2）两套标签体系，其中L1包含29个鱼类物种类别，L2则依据FAO标准将相关物种归为12个更宽泛的类群，这种双重标注结构为不同精度的分类研究提供了便利。

使用方法

Fishnet数据集的设计旨在模拟实际电子监测系统的操作环境，其训练集、验证集和测试集的划分策略颇具匠心。验证集与测试集中均包含来自训练集已出现摄像机（Seen cameras）与未出现摄像机（Unseen cameras）的影像，且比例大致均衡，这迫使算法需同时具备对已知船舶和新加入船舶的泛化能力。研究者在数据集上评估了如RetinaNet等主流检测模型与Inception-V3等分类模型的基准性能，结果表明其在细粒度分类、长尾分布处理及领域适应等方面构成了严峻挑战。因此，该数据集可作为推动计算机视觉在渔业监测中应用的重要基准平台，尤其适用于算法在低可见度条件与不平衡数据下的鲁棒性研究。

背景与挑战

背景概述

随着渔业电子监控系统的广泛应用，商业渔船上部署的摄像头产生了海量视频数据，传统依赖人工审核的方式已难以应对日益增长的数据处理需求。为推进计算机视觉技术在渔业管理中的应用，Ai.Fish与The Nature Conservancy的研究人员于2021年共同创建了Fishnet Open Images Database。该数据集聚焦于渔船上鱼类的检测与细粒度物种分类，包含来自73个摄像头的86,029张图像，涵盖34个对象类别，是目前规模最大、多样性最丰富的公开渔业电子监控图像数据集。其核心研究目标在于解决渔业领域缺乏公开标注数据的瓶颈，为开发高效、自动化的鱼类识别算法提供基准支持，从而提升渔业监管的可持续性与科学性。

当前挑战

该数据集旨在解决渔业电子监控中鱼类自动检测与细粒度分类的难题，其挑战主要体现在两个方面：首先，在领域问题层面，鱼类物种间视觉特征高度相似，尤其是金枪鱼等近缘物种的区分极为困难；数据分布呈现长尾特性，多数类别样本稀缺，加剧了模型训练的失衡；此外，海上作业环境恶劣，图像常受低光照、镜头水渍、恶劣天气及船员活动遮挡等因素干扰，导致识别精度下降。其次，在构建过程中，由于全球渔业数据涉及多方所有权与隐私协议，原始数据的获取与公开面临法律与合规性障碍；标注工作需依赖专业领域知识以纠正物种标签错误，并需人工处理图像中的个人身份信息，确保数据符合伦理规范，这些因素共同增加了数据集构建的复杂性与成本。

常用场景

经典使用场景

在渔业电子监控领域，Fishnet Open Images Database 作为首个大规模公开数据集，为计算机视觉算法提供了关键基准。该数据集源自商业渔船上的摄像头图像，涵盖了恶劣天气、低能见度及船员活动遮挡等真实场景，使得研究者能够针对细粒度鱼类检测与分类任务进行模型训练与评估。其经典应用场景在于推动自动化鱼类识别技术的发展，以替代传统人工视频审查，从而提升渔业管理的效率与准确性。

衍生相关工作

基于 Fishnet 数据集，多项经典研究工作得以衍生，主要集中在细粒度识别与长尾学习领域。例如，研究者利用其挑战性的图像条件，开发了针对低能见度环境的增强检测模型；同时，数据集的类不平衡特性催生了多种处理长尾分布的新方法，如重采样与损失函数优化技术。这些工作不仅推动了渔业计算机视觉的进步，也为通用视觉算法在复杂现实场景中的应用提供了重要参考。

数据集最近研究

最新研究方向

在渔业电子监控领域，Fishnet Open Images Database的发布为计算机视觉算法的发展提供了关键基准。该数据集聚焦于远洋商业渔船环境下的鱼类检测与细粒度物种分类，其前沿研究方向主要涵盖细粒度视觉识别、长尾分布处理以及跨摄像机域适应等挑战。由于数据集包含恶劣天气、镜头遮挡和物种视觉相似性等真实场景复杂性，研究者正探索如何提升模型在低可见度条件下的鲁棒性，并应对类别不平衡带来的分类偏差。这些进展不仅推动了渔业监测的自动化进程，也对促进全球可持续捕捞实践具有深远意义。

相关研究论文

• The Fishnet Open Images Database: A Dataset for Fish Detection and Fine-Grained Categorization in Fisheries

  · 2021年