FishEye8K

FishEye8K是一个用于鱼眼相机道路物体检测任务的开放基准数据集，包含157K边界框，涵盖五个类别（行人、自行车、汽车、公交车和卡车）。该数据集由8,000张图像组成，这些图像来自台湾新竹市交通监控的22个视频，使用18个鱼眼相机拍摄，分辨率为1080x1080和1280x1280。

FishEye8K is an open benchmark dataset for road object detection tasks with fisheye cameras, containing 157K bounding boxes spanning five categories: pedestrians, bicycles, cars, buses and trucks. The dataset consists of 8,000 images sourced from 22 traffic surveillance videos captured by 18 fisheye cameras in Hsinchu City, Taiwan, with resolutions of 1080×1080 and 1280×1280.

搜集汇总

数据集介绍

构建方式

FishEye8K数据集的构建采用了18个鱼眼摄像头，在22个视频中记录了8,000张图像，并标注了157,000个边界框，涵盖了行人、自行车、汽车、公交车和卡车五个类别。数据集的图像分辨率分别为1080×1080和1280×1280。数据集的标注和验证过程耗时费力，因为超宽全景和半球形鱼眼摄像头图像存在大量畸变和众多道路参与者，尤其是骑摩托车的人。为了减少偏差，来自特定摄像头的帧被分配到训练集或测试集中，保持了大约70:30的比例，适用于每个类别的图像数量和边界框数量。

特点

FishEye8K数据集的特点包括：1) 包含8,000张图像和157,000个边界框，涵盖了行人、自行车、汽车、公交车和卡车五个类别；2) 图像分辨率分别为1080×1080和1280×1280；3) 数据集的标注和验证过程耗时费力，因为超宽全景和半球形鱼眼摄像头图像存在大量畸变和众多道路参与者；4) 为了减少偏差，来自特定摄像头的帧被分配到训练集或测试集中，保持了大约70:30的比例，适用于每个类别的图像数量和边界框数量。

使用方法

FishEye8K数据集的使用方法包括：1) 数据集包含8,000张图像和157,000个边界框，涵盖了行人、自行车、汽车、公交车和卡车五个类别；2) 图像分辨率分别为1080×1080和1280×1280；3) 数据集的标注和验证过程耗时费力，因为超宽全景和半球形鱼眼摄像头图像存在大量畸变和众多道路参与者；4) 为了减少偏差，来自特定摄像头的帧被分配到训练集或测试集中，保持了大约70:30的比例，适用于每个类别的图像数量和边界框数量。

背景与挑战

背景概述

随着人工智能的快速发展，道路目标检测已成为计算机视觉领域的热门话题，主要使用透视相机进行检测。然而，鱼眼镜头提供了全方位的宽覆盖范围，可以有效减少监控道路交叉口的相机数量，但存在视图失真问题。FishEye8K数据集正是为了解决这一挑战而创建的，它由来自台湾新竹的18个鱼眼相机录制的22段视频组成，共包含8,000张图像和157,000个边界框，涵盖了行人、自行车、汽车、公交车和卡车五大类。该数据集旨在为鱼眼视频分析和智慧城市应用提供有意义的贡献。

当前挑战

FishEye8K数据集面临的挑战包括：1) 鱼眼镜头的视图失真问题，需要进行图像失真和展开的非平凡设计或处理过程中的专用设计；2) 数据集的标注和验证过程非常耗时和繁琐，由于超宽全景和半球形鱼眼相机图像具有大失真和众多道路参与者，特别是骑摩托车的人；3) 数据集存在不平衡的问题，其中自行车类别拥有最多的对象数量，而公交车类别拥有最少的对象数量。

常用场景

经典使用场景

FishEye8K数据集在鱼眼相机物体检测领域具有广泛的应用。鱼眼镜头以其宽广的覆盖范围而闻名，可以减少监控道路交叉口所需的相机数量，但同时也带来了视角畸变的问题。FishEye8K数据集包含了157K个边界框，跨越五个类别（行人、自行车、汽车、公交车和卡车），为鱼眼相机物体检测任务提供了一个重要的基准数据集。此外，该数据集还提供了最新的SOTA模型的基准结果，包括YOLOv5、YOLOR、YOLO7和YOLOv8的变体，为研究人员和开发人员提供了有价值的参考。

解决学术问题

FishEye8K数据集解决了鱼眼相机物体检测领域的一个重要问题，即缺乏公开的数据集。鱼眼相机在交通监控系统中具有明显的优势，但由于其视角畸变，传统的图像处理方法难以直接应用于鱼眼相机图像。FishEye8K数据集为鱼眼相机物体检测任务提供了一个大规模、多样化的数据集，为研究人员和开发人员提供了宝贵的资源，有助于推动鱼眼相机物体检测技术的发展。

衍生相关工作

FishEye8K数据集的推出，为鱼眼相机物体检测领域的研究提供了重要的数据基础。基于FishEye8K数据集，研究人员可以开展更多的实验和探索，例如研究不同鱼眼相机模型的效果、探索鱼眼相机图像的畸变校正方法等。此外，FishEye8K数据集还可以与其他公开数据集相结合，进一步丰富鱼眼相机物体检测领域的实验和研究成果。