WildFin

Name: WildFin
Creator: 康奈尔大学; 科罗拉多大学博尔德分校; HHMI珍妮利亚研究园区
Published: 2026-08-22T00:38:01+08:00

arXiv2026-08-31 更新2026-08-25 收录

鱼类行为识别

水下生态监测

数据链接：

https://team-wildfin.github.io/数据链接链接失效反馈

官方服务：

资源简介：

WildFin是一个由康奈尔大学等机构联合创建的鱼类行为识别基准数据集，旨在填补水下生态视频行为标注的公开空白。该数据集包含9.2小时的高清视频（1080p和4K），涵盖超过200万帧的逐帧专家标注，分为CoralCam（固定多目标监测）和FishFollow（动态单目标跟踪）两个子集，分别反映静态和动态采集场景。数据由生态学家在库拉索真实珊瑚礁环境采集，历经1350小时野外工作和600小时专家标注，最终形成23种精细行为类别。该数据集致力于解决计算机视觉模型在复杂水下环境（如多变光照、遮挡、类不平衡）中行为识别能力不足的问题，为生态监测与视频理解交叉研究提供严谨的评估平台。

The WildFin dataset is a benchmark dataset for wild fish behavior recognition, jointly developed by Cornell University and other institutions. It encompasses 9.2 hours of high-resolution videos (1080p and 4K), comprising over 2 million frames of frame-wise expert annotations. The dataset is split into two subsets: Fixed Camera Monitoring (CoralCam) and FishFollow, which contain 213 individual trajectories and 81 video clips, respectively. All data was collected from natural coral reef habitats off the coast of Curaçao in the Caribbean Sea, and was meticulously curated through 1,350 hours of fieldwork and 600 hours of expert annotation. This dataset aims to address the challenges of automatic fish behavior recognition in complex underwater environments, including dynamic lighting, occlusion, and multi-object interactions, serving as a benchmark platform for ecological monitoring and computer vision research.

提供机构：

康奈尔大学; 科罗拉多大学博尔德分校; HHMI珍妮利亚研究园区

创建时间：

2026-08-22

原始信息汇总

数据集概述

WildFin 是一个面向鱼类行为识别的野外视频数据集，由康奈尔大学的研究团队构建，并在 ECCV Marine Vision Workshop 2026 上以口头报告形式发布。该数据集旨在解决生态学视频数据中专家标注成本高昂、现有视觉模型在复杂海洋环境中表现不佳的问题。

数据集构成

野外采集时长：1,350 小时
专家标注时长：600 小时
行为视频长度：9 小时
标注规模：超过 200 万帧的逐帧标注
视频设置：
- 固定摄像机监控鱼群
- 潜水员跟随单个个体的动态拍摄

任务与基准

核心任务：在复杂水下视频中进行鱼类行为识别
基准评估：
- 对静态和时空视觉架构进行压力测试
- 强调真实部署场景中的挑战，包括遮挡、能见度变化、摄像机运动以及多动物场景
基准目标：量化当前视觉基础模型与真实水下行为分析需求之间的差距

核心特点

数据来源：由生态学家采集并进行专业标注，确保数据真实性和标注可靠性
部署范式：覆盖两种关键的实际部署场景——固定相机监控群体行为和动态跟拍个体行为
问题定位：通过基准测试明确现有模型在复杂海洋环境中的失败模式，为后续模型改进提供依据

搜集汇总

数据集介绍

构建方式

WildFin数据集的构建源于生态学家的野外实地采集，历经1350小时的现场工作与600小时的专业标注，最终形成9.2小时的高清视频数据，包含超过200万帧的逐帧行为标签。数据集分为两个子集：CoralCam采用固定三脚架摄像机在12个珊瑚礁栖息地连续录制，捕捉多物种鱼群的静态场景，通过目标检测、多目标追踪及专家验证的三阶段流程生成行为标签；FishFollow则由潜水员手持摄像机动态追踪单一目标鱼类，覆盖81段视频，直接进行逐帧行为标注，涉及23种精细行为类别，充分反映了真实生态监测中的复杂性与多样性。

特点

WildFin数据集独树一帜地融合了两种典型的野外采集范式，兼具静态多智能体场景与动态焦点跟随视角，囊括了动态光照、颗粒悬浮、视角突变及背景杂波等水下特有视觉挑战。其行为标注基于生态学正式行为谱，涵盖摄食、攻击、社会互动等细微动作，且呈现显著的长尾分布，稀有行为具有高科学价值。多标签标注框架允许单帧同时存在多种行为，加之专家间标注一致性良好（F1达到0.74-0.93），使得数据集成为评测视频基础模型在真实生态条件下鲁棒性的严苛试金石。

使用方法

WildFin的核心任务为帧级多标签行为分类，给定视频片段与追踪个体，需预测每一帧的行为标签。研究者可采用冻结的视觉基础模型（如DINOv3、VideoMAE、V-JEPA2）配合轻量池化与分类头部进行迁移学习，亦可全微调经典CNN（如ResNet50）作为基准。为应对类别不平衡，推荐使用平衡采样与焦点损失等策略。数据集还附带目标检测与多目标追踪的辅助基准，支持端到端流程的评估。评估指标采用宏平均F1，并引入±7帧的时间容差以兼顾行为边界的模糊性。

背景与挑战

背景概述

WildFin数据集由康奈尔大学、科罗拉多大学博尔德分校及霍华德·休斯医学研究所珍尼亚研究园区的研究人员于2026年联合创建，旨在填补水下鱼类行为识别领域缺乏专家标注视频基准的空白。该数据集基于生态学家在库拉索岛进行的实地考察，包含静态珊瑚礁监控（CoralCam）与动态潜水员跟随（FishFollow）两种真实采集场景，共计9.2小时高分辨率视频，涵盖23种精细行为类别，并提供超过200万帧的逐帧标注。WildFin的构建源于生态学研究中视频数据激增但人工分析成本高昂的瓶颈，其核心研究问题在于评估现有视觉基础模型在复杂水下环境中行为识别的性能。该数据集为计算机视觉与海洋生态学的交叉研究提供了独特基准，其发布对推动野生动物行为自动分析技术的发展具有重要意义。

当前挑战

WildFin数据集面临的挑战主要源于其真实野外环境特性与行为标注复杂性。在领域问题层面，水下环境存在动态光照、悬浮颗粒、低对比度及严重遮挡，且鱼类行为具有快速移动、细微差异、稀有事件和长尾分布等特点，使得现有基于静态图像或陆地行为的数据集难以泛化。构建过程中，CoralCam子集的多目标跟踪需处理密集鱼群中的个体身份保持，而FishFollow子集则面临相机持续运动、视角变化及缺乏空间定位标注等问题，导致模型难以准确关联标签与目标个体。此外，专家标注成本极高，且行为边界具有模糊性，标注者间存在时间误差，进一步增加了模型评估的难度。

常用场景

经典使用场景

WildFin数据集作为首个专门针对自然水域鱼类行为识别的视频基准，为计算机视觉与海洋生态学的交叉研究提供了独特的评测平台。其经典使用场景聚焦于两项核心任务：其一，在静态多目标场景（CoralCam）中，对礁栖鱼类进行帧级行为分类，涵盖摄食、攻击等精细动作的判别；其二，在动态跟拍场景（FishFollow）中，对单尾鹦鹉鱼或刺尾鱼的全天候行为进行持续标注与识别。该数据集通过模拟生态学家实地采集的复杂条件（如动态光照、遮挡、视角变化），成为检验视觉基础模型在真实水下环境中性能的严谨试金石。

衍生相关工作

WildFin的发布催生了多个前沿研究方向。在方法层面，它推动了面向生态数据的视觉基础模型适配研究，如轻量级注意力池化策略和类别不平衡缓解技术的深入探索，并启发了专门针对水下环境的检测器（如RT-DETR、YOLOv11）的基准评测。在应用层面，该数据集激发了跨物种行为识别模型的迁移学习工作，其数据采集和标注协议为其他野外生态数据集（如陆地动物、浮游生物）的构建提供了可复现的范本。更为深远的是，WildFin促进了计算机视觉与神经行为学的融合，为从自然行为中揭示认知机制、开展比较行为学研究开辟了新的数据驱动路径，并已成为验证自监督视频预训练模型在科学领域泛化能力的重要基准之一。

数据集最近研究