imageomics/KABR|动物行为识别数据集|无人机视频分析数据集

KABR数据集是一个高质量的数据集，用于从无人机视频中识别肯尼亚动物的行为。数据集包含长颈鹿、平原斑马和格氏斑马的行为，总共有超过10小时的标注视频，涵盖了八种不同的行为类别，包括七种动物行为和一种遮挡实例的类别。数据集的标注过程由10人团队完成，并由一位动物学家监督，确保标注的一致性和准确性。数据集使用无人机在肯尼亚的Mpala研究中心拍摄，视频分辨率为5472 x 3078像素，帧率为29.97帧/秒。数据集的结构遵循Charades格式，并提供了训练和验证集的CSV文件。

原始信息汇总

数据集卡片：KABR - 肯尼亚动物行为识别无人机视频现场数据集

数据集描述

数据集概述

我们提供了一个用于动物行为识别的高质量无人机视频数据集。该数据集专注于肯尼亚野生动物，包含长颈鹿、平原斑马和格雷维斑马的行为。数据集包含超过10小时的标注视频，包括八个不同的类别，涵盖七种动物行为和一个遮挡实例的额外类别。在标注过程中，一个由10人组成的团队参与其中，由一位专家动物学家监督。每种行为根据其独特特征进行标记，使用一套标准化标准以确保标注的一致性和准确性。数据集使用无人机在肯尼亚的Mpala研究中心上空飞行收集，提供动物自然行为的高质量视频。无人机视频以5472 x 3078像素的分辨率捕获，视频帧率为29.97帧每秒。

支持的任务和排行榜

我们使用I3D、SlowFast和X3D架构评估的结果如下表所示。每个模型都训练了120个周期，批量大小为5。更多信息请参见我们的[论文](coming soon)。

方法	全部	长颈鹿	平原斑马	格雷维斑马
I3D (16x5)	53.41	61.82	58.75	46.73
SlowFast (16x5, 4x5)	52.92	61.15	60.60	47.42
X3D (16x5)	61.9	65.1	63.11	51.16

语言

英语

数据集结构

在KABR/dataset/image/下，数据已被归档到.zip文件中，分为2GB的文件。这些文件必须重新组合并提取。克隆并导航到仓库后，可以使用以下命令进行重建：

bash cd KABR/dataset/image/ cat giraffes_part_* > giraffes.zip md5sum giraffes.zip # 与 cat giraffes_md5.txt 显示的内容进行比较 unzip giraffes.zip rm -rf giraffes_part_*

类似地处理 zebras_grevys_part_* 和 zebras_plains_part_*

或者，有一个下载脚本download.py，允许下载整个数据集而不需要克隆仓库（克隆需要至少双倍数据集大小来存储）。下载download.py到要访问数据的系统，然后在脚本所在目录运行以下命令开始下载：

bash pip install requests python download.py

该脚本下载仓库中的所有文件（不包括.git目录等），将部分文件连接到ZIP存档，验证MD5校验和，提取并清理，以便下面的文件夹结构存在。

注意，完成此过程需要大约116GB的可用空间，但最终数据集只会占用大约61GB的磁盘空间（脚本在检查下载成功后删除额外文件）。

KABR数据集遵循Charades格式：

KABR /dataset /image /video_1 /image_1.jpg /image_2.jpg ... /image_n.jpg /video_2 /image_1.jpg /image_2.jpg ... /image_n.jpg ... /video_n /image_1.jpg /image_2.jpg /image_3.jpg ... /image_n.jpg /annotation /classes.json /train.csv /val.csv

数据集可以直接由SlowFast框架加载和处理。

信息文件

• KABR/configs：SlowFast框架配置示例。
• KABR/annotation/distribution.xlsx：所有视频的类别分布。

脚本

• image2video.py：将图像序列编码为原始视频。
  • 例如，[image/G0067.1, image/G0067.2, ..., image/G0067.24]将被编码为video/G0067.mp4。
• image2visual.py：将图像序列编码为带有相应标注的原始视频。
  • 例如，[image/G0067.1, image/G0067.2, ..., image/G0067.24]将被编码为visual/G0067.mp4。

数据实例

命名：在图像文件夹中，video_n文件夹命名如下（X表示数字）：

• G0XXX.X - 长颈鹿
• ZP0XXX.X - 平原斑马
• ZG0XXX.X - 格雷维斑马
• 每个文件夹中的图像简单命名为X.jpg。

注意：数据集包含总共1,139,893帧无人机视频。其中有488,638帧格雷维斑马，492,507帧平原斑马，158,748帧长颈鹿。

数据字段

数据集中有14,764个独特的行为序列。这些包括八种不同的行为：

• 行走
• 小跑
• 奔跑：动物以快步或疾驰移动
• 吃草：动物正在吃草或其他植物
• 吃树：动物正在吃树木或灌木
• 抬头：动物正在四处观察或观察周围环境
• 自我梳理：动物正在自我梳理（舔、抓或摩擦）
• 遮挡：动物不完全可见

数据分割

训练和验证集由各自的CSV文件（train.csv和val.csv）指示，位于annotation文件夹中。

数据集创建

策划理由

我们提供了一个用于动物行为识别的高质量无人机视频数据集。该数据集专注于肯尼亚野生动物，包含长颈鹿、平原斑马和格雷维斑马的行为。数据集包含超过10小时的标注视频，包括八个不同的类别，涵盖七种动物行为和一个遮挡实例的额外类别。在标注过程中，一个由10人组成的团队参与其中，由一位专家动物学家监督。每种行为根据其独特特征进行标记，使用一套标准化标准以确保标注的一致性和准确性。数据集使用无人机在肯尼亚的Mpala研究中心上空飞行收集，提供动物自然行为的高质量视频。我们相信这个数据集将为从事动物行为识别的研究人员提供宝贵的资源，因为它提供了一个多样化和高质量的标注视频集，可用于评估深度学习模型。此外，该数据集可用于研究肯尼亚动物的行为模式，并有助于指导保护工作和野生动物管理策略。

源数据

初始数据收集和规范化

数据从2023年1月6日至2023年1月21日在肯尼亚的Mpala研究中心收集，使用DJI Mavic 2S无人机配备摄像头记录5.4K分辨率视频（5472 x 3078像素），从10到50米的不同高度和距离记录动物（距离由情况和安全规定决定）。

从这些视频中提取小场景以减少无人机移动的影响并促进人工标注。使用YOLOv8在帧中检测动物，然后应用SORT跟踪算法跟踪其移动。然后提取一个400 x 300像素的窗口，中心位于动物上；这是小场景。

标注

标注过程

在标注过程中，一个由10人组成的团队参与其中，由一位专家动物学家监督。每种行为根据其独特特征进行标记，使用一套标准化标准以确保标注的一致性和准确性。

个人和敏感信息

尽管数据中包含濒危物种，但未提供确切位置，并且它们的安全由其位于保护区内的位置保证。

使用数据的考虑

其他已知限制

此数据表现出长尾分布，这是由于观察到的行为自然频率变化。

附加信息

作者

• Maksim Kholiavchenko (Rensselaer Polytechnic Institute) - ORCID: 0000-0001-6757-1957
• Jenna Kline (The Ohio State University)
• Michelle Ramirez (The Ohio State University)
• Sam Stevens (The Ohio State University)
• Alec Sheets (The Ohio State University) - ORCID: 0000-0002-3737-1484
• Reshma Ramesh Babu (The Ohio State University) - ORCID: 0000-0002-2517-5347
• Namrata Banerji (The Ohio State University) - ORCID: 0000-0001-6813-0010
• Elizabeth Campolongo (Imageomics Institute, The Ohio State University) - ORCID: 0000-0003-0846-2413
• Matthew Thompson (Imageomics Institute, The Ohio State University) - ORCID: 0000-0003-0583-8585
• Nina Van Tiel (Eidgenössische Technische Hochschule Zürich) - ORCID: 0000-0001-6393-5629
• Jackson Miliko (Mpala Research Centre)
• Eduardo Bessa (Universidade de Brasília) - ORCID: 0000-0003-0606-5860
• Tanya Berger-Wolf (The Ohio State University) - ORCID: 0000-0001-7610-1412
• Daniel Rubenstein (Princeton University) - ORCID: 0000-0001-9049-5219
• Charles Stewart (Rensselaer Polytechnic Institute)

许可信息

该数据集致力于公共领域，以促进科学研究。如果您在研究中使用它，请引用数据集和期刊论文。

引用信息

数据集

@misc{KABR_Data, author = {Kholiavchenko, Maksim and Kline, Jenna and Ramirez, Michelle and Stevens, Sam and Sheets, Alec and Babu, Reshma and Banerji, Namrata and Campolongo, Elizabeth and Thompson, Matthew and Van Tiel, Nina and Miliko, Jackson and Bessa, Eduardo and Duporge, Isla and Berger-Wolf, Tanya and Rubenstein, Daniel and Stewart, Charles}, title = {KABR: In-Situ Dataset for Kenyan Animal Behavior Recognition from Drone Videos}, year = {2023}, url = {https://huggingface.co/datasets/imageomics/KABR}, doi = {10.57967/hf/1010}, publisher = {Hugging Face} }

论文

@inproceedings{kholiavchenko2024kabr, title={KABR: In-Situ Dataset for Kenyan Animal Behavior Recognition from Drone Videos}, author={Kholiavchenko, Maksim and Kline, Jenna and Ramirez, Michelle and Stevens, Sam and Sheets, Alec and Babu, Reshma and Banerji, Namrata and Campolongo, Elizabeth and Thompson, Matthew and Van Tiel, Nina and Miliko, Jackson and Bessa, Eduardo and Duporge, Isla and Berger-Wolf, Tanya and Rubenstein, Daniel and Stewart, Charles}, booktitle={Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision}, pages={31-40}, year={2024} }

贡献

Imageomics Institute由美国国家科学基金会的Harnessing the Data Revolution (HDR)计划资助，Award #2118240（Imageomics：由知识引导的机器学习驱动的新生物信息前沿）。本材料中的任何观点、发现、结论或建议均为作者的观点，不一定反映国家科学基金会的观点。

AI搜集汇总

数据集介绍

构建方式

该数据集通过使用无人机在肯尼亚的Mpala研究中心上空飞行，捕捉了超过10小时的视频数据，涵盖了长颈鹿、平原斑马和格雷维斑马的自然行为。数据集的构建过程包括使用YOLOv8进行动物检测，并应用SORT跟踪算法来跟踪动物的运动。随后，提取400x300像素的窗口作为迷你场景，以减少无人机运动的影响并便于人工标注。整个标注过程由10人团队完成，并由一位动物学专家监督，确保标注的一致性和准确性。

使用方法

使用KABR数据集时，用户可以通过下载脚本`download.py`直接获取数据，该脚本会自动下载、合并和解压数据文件。数据集遵循Charades格式，可以直接加载并处理，特别适用于SlowFast框架。用户还可以使用提供的脚本`image2video.py`和`image2visual.py`将图像序列编码回原始视频，并附带相应的标注信息。数据集的训练和验证集分别由`train.csv`和`val.csv`文件指示，方便用户进行模型训练和评估。

背景与挑战

背景概述

KABR数据集，全称为Kenyan Animal Behavior Recognition，是一个专注于从无人机视频中识别肯尼亚野生动物行为的创新数据集。该数据集由Rensselaer Polytechnic Institute、The Ohio State University、Princeton University等机构的研究人员共同创建，主要研究人员包括Maksim Kholiavchenko、Jenna Kline、Daniel Rubenstein等。KABR数据集的核心研究问题是通过高分辨率的无人机视频捕捉和分析非洲草原上的长颈鹿、平原斑马和格雷维斑马的行为。该数据集的创建时间为2023年，数据收集地点位于肯尼亚的Mpala Research Centre。KABR数据集不仅为动物行为识别领域提供了丰富的数据资源，还为野生动物保护和生态管理提供了重要的科学依据。

当前挑战

KABR数据集在构建过程中面临多项挑战。首先，数据收集过程中需确保无人机操作的安全性和对野生动物的最低干扰，这要求精确的飞行控制和环境适应。其次，视频数据的标注过程复杂，涉及多种动物行为的细致分类，需要由专业动物学家监督的团队进行标准化标注，以确保标注的准确性和一致性。此外，数据集中的行为类别分布不均，存在长尾分布问题，这增加了模型训练的难度。最后，高分辨率视频数据的存储和处理对计算资源提出了较高要求，尤其是在大规模数据集的下载和重建过程中，需要大量的存储空间和计算能力。

常用场景

经典使用场景

KABR数据集的经典使用场景主要集中在动物行为识别领域。通过无人机拍摄的高分辨率视频，研究人员可以利用该数据集训练和评估深度学习模型，以识别和分类肯尼亚野生动物（如长颈鹿、平原斑马和格雷维斑马）的不同行为。这些行为包括行走、小跑、奔跑、吃草、吃树、抬头观察和自我梳理等。数据集的高质量标注和多样性使其成为开发和测试动物行为识别算法的理想选择。

解决学术问题

KABR数据集解决了动物行为识别领域中的多个关键学术问题。首先，它提供了大量高质量的标注视频，解决了数据稀缺和标注不一致的问题。其次，通过无人机拍摄的自然环境视频，该数据集帮助研究人员理解和模拟动物在自然状态下的行为，从而提高了模型的泛化能力和实际应用价值。此外，数据集的多样性和复杂性有助于推动深度学习模型在复杂场景下的性能提升，为野生动物保护和生态研究提供了有力的数据支持。

实际应用

KABR数据集在实际应用中具有广泛的前景。首先，它可以用于开发和优化野生动物监测系统，通过无人机实时识别和记录动物行为，帮助研究人员和保护人员更好地了解动物的生态习性和健康状况。其次，该数据集可以支持野生动物保护策略的制定和评估，通过分析动物行为模式，预测和预防潜在的生态危机。此外，KABR数据集还可以应用于教育领域，帮助学生和研究人员通过实际数据进行学习和研究，推动动物行为学和生态学的发展。

数据集最近研究

最新研究方向

在野生动物行为识别领域，KABR数据集的最新研究方向主要集中在利用无人机视频数据进行动物行为的精确分类和预测。该数据集通过高分辨率的无人机视频捕捉肯尼亚野生动物的自然行为，为研究人员提供了丰富的标注数据，涵盖了包括行走、奔跑、觅食等多种行为。前沿研究不仅关注于提升现有深度学习模型的识别精度，还探索如何通过多模态数据融合和时空特征提取来增强模型的鲁棒性和泛化能力。此外，该数据集的应用也扩展到野生动物保护和生态管理，通过分析动物行为模式，为制定有效的保护策略提供科学依据。