Benchmark datasets for detection and identification of insects from camera trap images with deep learning

Insect benchmark datasets for training, validation and test (train1201.zip, val1201.zip and test1201.zip) with time-lapse images as described in paper:

Bjerge K, Alison J, Dyrmann M, Frigaard C.E., Mann H. M. R., Høye T.T., Accurate detection and identification of insects from camera trap images with deep learning, bioRxiv:10.1101/2022.10.25.513484v1

Labels in YOLO format: ultralytics/yolov5: label format

The annotated training and validation datasets contains insects of nine different species as listed below:

0 Coccinellidae septempunctata

1 Apis mellifera

2 Bombus lapidarius

3 Bombus terrestris

4 Eupeodes corolla

5 Episyrphus balteatus

6 Aglais urticae

7 Vespula vulgaris

8 Eristalis tenax

The test dataset contains additional classes of insects.

9 Non-Bombus Anthophila

10 Bombus spp.

11 Syrphidae

12 Fly spp.

13 Unclear insect

14 Mixed animals:
——————————
Rhopalocera
Non-Anthophila Hymenoptera
Non-Syrphidae Diptera
Non-Conccinalidae Coleoptera
Concinellidae
Other animals

There are two naming conventions for image (.jpg) and label (.txt) files.

Background images without insects are named:
“X_Seq-YYYYMMDDHHMMSS-snapshot”.
E.g.:
Background image: 12_13-20190704172200-snapshot.jpg
Empty label file: 12_13-20190704172200-snapshot.txt

Images annotated with insects are named:
“SZ_IP-MonthDate_C_Seq-YYYYMMDDHHMMSS”.
E.g.:
Image file: S1_146-Aug23_1_156-20190822133230.jpg
Label file: S1_146-Aug23_1_156-20190822133230.txt

Abbreviations:

YYYYMMDDHHMMSS – Capture timestamp with year, month, date, hour, minutes, and second
Seq – Sequence number created by the motion program to separate images
C – Identification of two cameras with Id=0 or Id=1 in system identified by SZ_IP
MonthDate – Folder name for where the original image were stored in the system
SZ_IP – Identification of five camera systems: S1_123, S2_146, S3_194, S4_199, S5_187 (Two cameras in each system)
X – An index number related to a specific camera and folder ensuring unique file names of background images from different camera systems.

The important information in a filename is system (SZ_IP), camera Id (C) and timestamp (YYYYMMDDHHMMSS).

The three best YOLOv5 models (YOLOv5models.zip) from the paper are available in pytorch format.

All models are tested with YOLOv5 release v7.0 (22-11-2022): ultralytics/yolov5: YOLOv5  in PyTorch

insect1201-bestF1-640v5m.pt: Model no. 6 in Table 2 (F1=0.912)
insect1201-bestF1-1280v5m6.pt: Model no. 8 in Table 2 (F1=0.925)
insect1201-bestF1-1280v5m6.pt: Model no. 10 in Table 2 (F1=0.932)

insects-1201val.yaml: YAML file with label names to train YOLOv5

trainInsects-1201m.sh: Linux bash shell script with parameters to train YOLOv5m6
valInsectsF1-1201.sh: Linux bash shell script with parameters to validated models

用于训练、验证与测试的昆虫基准数据集（train1201.zip、val1201.zip及test1201.zip），采用延时摄影图像，相关细节见下述论文：

Bjerge K、Alison J、Dyrmann M、Frigaard C.E.、Mann H. M. R.、Høye T.T.：《基于深度学习的相机陷阱图像昆虫精准检测与识别》，bioRxiv:10.1101/2022.10.25.513484v1

标签采用YOLO（You Only Look Once）格式，参照ultralytics/yolov5的标签规范。

经标注的训练与验证数据集包含9类昆虫，具体如下：
0 七星瓢虫（Coccinellidae septempunctata）
1 西方蜜蜂（Apis mellifera）
2 石熊蜂（Bombus lapidarius）
3 大地熊蜂（Bombus terrestris）
4 长翅食蚜蝇（Eupeodes corolla）
5 条斑食蚜蝇（Episyrphus balteatus）
6 荨麻蛱蝶（Aglais urticae）
7 普通黄胡蜂（Vespula vulgaris）
8 长尾管蚜蝇（Eristalis tenax）

测试数据集包含额外的昆虫类别：
9 非熊蜂类采花膜翅目昆虫（Non-Bombus Anthophila）
10 熊蜂属物种（Bombus spp.）
11 食蚜蝇科（Syrphidae）
12 蝇类物种（Fly spp.）
13 难以识别的昆虫（Unclear insect）
14 混合动物：
——————————
蝶类（Rhopalocera）
非采花蜂类膜翅目（Non-Anthophila Hymenoptera）
非食蚜蝇科双翅目（Non-Syrphidae Diptera）
非Conccinalidae鞘翅目（Non-Conccinalidae Coleoptera）
Concinellidae科
其他动物

图像文件（.jpg）与标签文件（.txt）存在两种命名规范：

无昆虫的背景图像命名格式为："X_Seq-YYYYMMDDHHMMSS-snapshot"。示例：背景图像：12_13-20190704172200-snapshot.jpg；空标签文件：12_13-20190704172200-snapshot.txt

含昆虫标注的图像命名格式为："SZ_IP-MonthDate_C_Seq-YYYYMMDDHHMMSS"。示例：图像文件：S1_146-Aug23_1_156-20190822133230.jpg；标签文件：S1_146-Aug23_1_156-20190822133230.txt

缩写说明：
YYYYMMDDHHMMSS：拍摄时间戳，格式为年、月、日、时、分、秒
Seq：运动程序生成的序列编号，用于区分不同图像
C：系统内两台相机的标识，ID为0或1，由SZ_IP标识所属系统
MonthDate：系统中存储原始图像的文件夹名称
SZ_IP：5套相机系统的标识，分别为S1_123、S2_146、S3_194、S4_199、S5_187（每套系统含2台相机）
X：与特定相机及文件夹相关的索引编号，用于确保不同相机系统生成的背景图像文件名唯一

文件名中核心信息为：所属相机系统（SZ_IP）、相机ID（C）以及拍摄时间戳（YYYYMMDDHHMMSS）。

本论文中表现最优的3款YOLOv5模型（YOLOv5models.zip）已以PyTorch格式提供。

所有模型均基于YOLOv5 v7.0版本（2022年11月22日发布）进行测试，相关代码参照ultralytics/yolov5：PyTorch实现的YOLOv5。

insect1201-bestF1-640v5m.pt：对应论文表2中的第6号模型（F1值=0.912）
insect1201-bestF1-1280v5m6.pt：对应论文表2中的第8号模型（F1值=0.925）
insect1201-bestF1-1280v5m6.pt：对应论文表2中的第10号模型（F1值=0.932）

insects-1201val.yaml：用于YOLOv5训练的标签名称配置YAML文件

trainInsects-1201m.sh：用于训练YOLOv5m6的Linux Bash脚本

valInsectsF1-1201.sh：用于模型验证的Linux Bash脚本