Voxel51/AFO-Aerial_Floating_Objects

AFO数据集是第一个用于训练机器学习和深度学习模型进行海上搜索和救援应用的开源数据集。它包含了40,000个手工注释的人和漂浮在水中的物体，这些物体在水中很多都是小尺寸的，难以检测。数据集由50个视频片段中的图像组成，这些图像是由各种无人机搭载的相机拍摄的，分辨率为1280x720到3840x2160。从这些视频片段中提取并注释了3647个图像，包含了39991个物体，并且被分为训练集、测试集和验证集。数据集以Darknet YOLO格式准备。The AFO dataset is the first open-source dataset for training machine learning and deep learning models for maritime Search and Rescue applications. It contains 40,000 hand-annotated persons and objects floating in the water, many of which are small in size and difficult to detect. The dataset consists of images from 50 video clips captured by various drone-mounted cameras with resolutions ranging from 1280x720 to 3840x2160. From these video clips, 3647 images containing 39991 objects have been extracted and manually annotated, and are split into training, test, and validation sets. The dataset is prepared in Darknet YOLO format.

搜集汇总

数据集介绍

构建方式

AFO（Aerial Floating Objects）数据集是专为海事搜索与救援任务中机器学习与深度学习模型训练而设计的首个公开数据集。其构建源于从无人机搭载的不同分辨率摄像头（涵盖1280×720至3840×2160）所采集的五十段航拍视频片段中，精心提取并手工标注了3647帧图像，共包含39991个漂浮于水面的物体实例。这些物体多为小尺度目标，增加了检测难度。数据集遵循Darknet YOLO格式，并依据物体数量划分为训练集（67.4%）、测试集（19.12%）与验证集（13.48%），其中测试集特意选自未参与训练或验证的九个视频片段，以有效防止模型过拟合。

特点

该数据集的核心特色在于其专注海事救援的特定场景与高难度小目标检测任务。所有标注对象均处于水面漂浮状态，且尺寸微小，对模型的特征提取与定位能力提出了严苛挑战。此外，数据集不仅包含图像与边界框标注，还整合了剪辑嵌入（clip embeddings）与真实值（Ground Truth）字段，为多模态或时序分析提供了扩展空间。其非商业性共享许可（CC BY-NC-SA 3.0）确保了学术研究的开放性与可复现性，同时通过严格的视频源分离策略提升了评估的公正性。

使用方法

使用该数据集需首先通过pip安装FiftyOne库，随后借助其HuggingFace集成工具加载数据。具体流程为：在Python环境中导入fiftyone模块及load_from_hub函数，调用load_from_hub('dgural/AFO-Aerial_Floating_Objects')即可获取包含1014个样本的完整数据集。用户还可通过max_samples等参数控制加载样本数量。加载后，利用fo.launch_app(session)启动FiftyOne可视化界面，便于交互式浏览、筛选与标注验证。数据集的YOLO格式兼容主流检测框架，可直接用于模型训练与评估。

背景与挑战

背景概述

在海上搜救与水域安全监控领域，无人机搭载的视觉传感器为快速定位遇险人员提供了前所未有的技术手段。然而，水面漂浮目标的检测长期受困于目标尺度微小、背景复杂多变以及光照反射干扰等难题，导致传统目标检测算法在实际应用中表现不佳。在此背景下，由波兰国家科学中心资助、Jan Gąsienica-Józkowy等研究人员于2021年创建的AFO（Aerial Floating Objects）数据集应运而生。该数据集是首个专为海上搜救应用设计的公开航拍漂浮目标检测基准，包含从50段无人机视频中提取的3647张手工标注图像，共计39991个标注对象，覆盖人体、救生设备及其他漂浮物，并划分为训练、验证与测试子集。其发布为无人机水域智能监控领域提供了标准化的评测平台，推动了小目标检测与多尺度特征融合技术在搜救场景中的研究进展。

当前挑战

AFO数据集所解决的领域问题集中于水面微小漂浮目标的检测与定位，这一任务面临两大核心挑战：其一，目标在图像中常呈现像素级微小尺寸（如远距离人体），且与水面纹理、反光区域高度混淆，导致传统检测器召回率极低；其二，无人机视角下目标姿态多变、遮挡频繁，加之水面波浪与光照动态变化，进一步加剧了特征提取的难度。在数据集构建过程中，研究人员需从分辨率跨度极大的视频源（1280×720至3840×2160）中筛选关键帧，并克服小目标人工标注的视觉疲劳与一致性难题，最终通过严格划分测试集（包含9段未参与训练的视频）来避免模型过拟合，确保评估结果的泛化性与可靠性。

常用场景

经典使用场景

AFO数据集作为首个面向海上搜救任务的航拍漂浮目标检测基准，为无人机视角下的水域小目标识别提供了标准化评估平台。研究者常利用其包含的3647张高分辨率航拍图像与39991个手工标注实例，训练并验证基于深度学习的检测模型。该数据集特别针对水面漂浮人员与物体设计，涵盖从1280×720到3840×2160的多分辨率无人机影像，且测试集完全由未见视频片段构成，有效支撑了模型泛化能力的可靠评估。经典使用范式包括在YOLO系列框架下进行端到端的目标检测训练，并借助FiftyOne工具实现数据可视化与特征嵌入分析。

解决学术问题

该数据集系统性地解决了水域搜救场景中无人机视觉感知的三个关键学术瓶颈：小目标检测困难、水域环境干扰复杂以及真实标注数据匮乏。通过提供大量亚像素级尺寸的漂浮目标实例，它推动了小目标检测算法在低对比度水面背景下的性能突破。研究界基于此数据集探索了集成深度学习优化权重方法，在保持实时性的同时显著提升了检测精度，其成果发表于《Integrated Computer-Aided Engineering》。此外，数据集的非商业共享许可促进了可重复研究，为构建鲁棒的水上救援视觉系统奠定了数据基础。

衍生相关工作

该数据集催生了一系列具有影响力的衍生研究，最经典的是其原始论文提出的集成深度学习方法，通过优化权重融合多模型预测，在AFO测试集上取得了当时最优的检测性能。后续工作包括基于注意力机制的特征金字塔网络改进，以及针对水域小目标设计的轻量化检测器。研究者还利用AFO数据集的视频时序特性，拓展了时空融合检测框架，并探索了域自适应技术以迁移模型至不同水域场景。此外，结合FiftyOne工具的可视化分析，衍生出多模态嵌入解释性研究，为模型决策提供了水域环境下的可解释性依据。