FishEye8K

arXiv2025-09-30 收录

下载链接：

https://arxiv.org/pdf/2305.17449.pdf

下载链接

链接失效反馈

官方服务：

资源简介：

该数据集名为FishEye8K，包含了22段视频（共8000张图像），这些视频是在中国台湾省新竹市通过18种不同的鱼眼摄像头拍摄的，用于交通监控。数据集作者为整个数据集中的行人、自行车、汽车、公交车和卡车类别提供了二维边界框标注。规模上，该数据集包含了8000张图像，任务专注于目标检测。

Named FishEye8K, this dataset comprises 22 video segments with a total of 8000 images. These videos were captured using 18 different fisheye cameras in Hsinchu City, Taiwan Province, China for traffic monitoring purposes. The dataset authors have provided 2D bounding box annotations for five object categories: pedestrians, bicycles, cars, buses, and trucks. This dataset is dedicated to the task of object detection.

搜集汇总

数据集介绍

构建方式

在交通监控领域，鱼眼相机因其宽广的视野覆盖而备受青睐，但随之而来的图像畸变问题对目标检测提出了独特挑战。FishEye8K数据集的构建过程体现了严谨的学术态度，研究团队从台湾新竹市警方拥有的35个鱼眼监控摄像头中，精选了18个摄像头的22段视频作为原始素材。通过帧采样策略，从长达数小时的视频中提取出超过一万帧图像，并最终筛选出8000张高质量图像作为数据集核心。这些图像经过精心裁剪，分辨率统一调整为1080×1080或1280×1280，以确保数据的一致性。标注工作由两名研究人员耗时一年手动完成，采用DarkLabel工具对五类道路参与者进行边界框标注，总计生成157,012个标注框。为避免模型训练中的偏差，数据划分遵循严格原则：同一摄像头采集的帧不会同时出现在训练集和测试集中，且各类别的图像和标注框数量均保持约70:30的比例，从而保障了评估的公正性与可靠性。

特点

FishEye8K数据集在鱼眼相机目标检测领域具有鲜明的特色。其核心优势在于首次专门针对交通监控场景下的鱼眼镜头畸变问题，提供了大规模、高质量标注数据。数据集涵盖五类关键道路参与者：行人、自行车（含摩托车与踏板车）、轿车、巴士和卡车，其中自行车与轿车类别标注数量最为丰富，反映了实际交通流的分布特征。图像采集条件多样，囊括了从清晨至夜晚的不同光照场景，以及多种道路交叉口类型，如T型路口、Y型路口和十字路口等，增强了数据的现实代表性。尤为突出的是，数据集包含了大量因鱼眼镜头特性而产生的远距离微小目标，这些目标在传统数据集中较为罕见，为模型处理畸变与小尺度检测提供了宝贵样本。此外，标注信息以PASCAL VOC、MS COCO和YOLO三种主流格式提供，极大便利了研究者的使用与模型迁移。

使用方法

FishEye8K数据集为开发与评估面向鱼眼相机的道路目标检测模型提供了标准基准。研究者可首先从指定GitHub仓库获取数据集，并依据自身需求选择相应的标注格式加载数据。在模型训练阶段，建议遵循原论文的基准设置，例如将输入图像尺寸调整为640×640或1280×1280，以适应不同复杂度的检测模型。数据集已预先划分为训练集与测试集，确保了评估的一致性。使用者可基于此数据集训练YOLO系列等先进的一阶段检测器，并利用其提供的丰富光照、角度及尺度变化来提升模型的泛化能力，特别是针对鱼眼畸变的鲁棒性。在评估环节，应采用精确度、召回率、mAP及针对不同目标尺度的AP指标进行全面衡量。该数据集不仅适用于纯检测任务，其涵盖的多样场景也为模型在智慧城市视频分析等实际应用中的性能验证提供了坚实支撑。

背景与挑战

背景概述

随着人工智能技术的飞速发展，计算机视觉在交通监控领域的应用日益广泛，其中道路目标检测作为核心研究方向，传统上主要依赖透视相机获取图像数据。然而，透视相机视野有限，难以全面覆盖复杂的道路交叉口场景。鱼眼镜头凭借其超广角与全向覆盖特性，能够以更少的摄像头数量实现大范围监控，但同时也引入了显著的图像畸变问题。在此背景下，FishEye8K数据集于2023年由阿联酋大学、国立阳明交通大学等多所研究机构联合创建，旨在填补鱼眼交通监控相机在公开数据集方面的空白。该数据集包含8000张高分辨率图像，涵盖行人、自行车、汽车、公交车和卡车五类目标，共计15.7万个标注边界框，数据采集自台湾新竹市部署的18个鱼眼监控摄像头。FishEye8K的推出为鱼眼视频分析与智慧城市应用提供了重要的基准资源，推动了畸变图像下的目标检测算法研究。

当前挑战

FishEye8K数据集致力于解决鱼眼相机在道路目标检测领域的关键挑战，其核心问题在于如何有效处理鱼眼图像特有的桶形畸变与边缘模糊效应，这些畸变导致目标形状与尺度发生非线性变化，增加了检测模型的特征提取与定位难度。在数据集构建过程中，研究人员面临多重挑战：首先，鱼眼镜头产生的超广角全景图像使得远处目标极为微小且模糊，标注过程需耗费大量人力进行精细辨识与验证；其次，数据集中类别分布高度不均衡，自行车类目标数量高达8.8万，而公交车类仅不足3000个，这种偏差可能影响模型的泛化性能；此外，数据采集受限于单一地理环境与天气条件，缺乏雨雪雾等复杂气象场景，限制了数据集的多样性与鲁棒性。这些挑战共同凸显了鱼眼视觉数据处理的特殊性与复杂性。

常用场景

经典使用场景

在智能交通监控领域，鱼眼相机凭借其广角覆盖能力，能够以较少设备实现对交叉路口等复杂场景的全方位观测。FishEye8K数据集作为首个专为鱼眼交通监控相机设计的公开数据集，其经典使用场景集中于训练和评估目标检测模型在鱼眼畸变图像上的性能。该数据集包含8000张高分辨率图像及157K个边界框标注，涵盖行人、自行车、汽车、巴士和卡车五类道路参与者，为模型在畸变条件下的鲁棒性提供了标准化的测试平台。

衍生相关工作

自FishEye8K数据集发布以来，已衍生出多项针对鱼眼畸变优化的目标检测研究。例如，研究者基于该数据集对YOLOv8、YOLOR等先进检测架构进行适应性改进，提出了专门处理径向畸变的特征提取模块。同时，该数据集也催生了关于鱼眼图像中远距离小目标检测、畸变不变特征学习等方向的研究，并促进了多任务学习框架在鱼眼监控场景中的应用探索，为后续更大规模鱼眼数据集的构建提供了方法论参考。

数据集最近研究