Bonobo dataset

Bonobo数据集是由马克斯·普朗克进化人类学研究所创建的，旨在通过半自动方式生成的视频记录来识别和分类倭黑猩猩。该数据集包含100个视频，记录了6只倭黑猩猩的行为，视频分辨率为1280x720，帧率为30fps。数据集的创建过程涉及使用预训练的RCNN模型进行倭黑猩猩的定位和分类。该数据集主要应用于倭黑猩猩的个体识别，以支持无需人工干预的触摸屏设备测试，进而推动倭黑猩猩的认知研究。The Bonobo Dataset was developed by the Max Planck Institute for Evolutionary Anthropology, with the goal of identifying and classifying bonobos using semi-automatically generated video recordings. This dataset comprises 100 videos documenting the behaviors of 6 bonobos, with a resolution of 1280×720 and a frame rate of 30 fps. The creation of this dataset utilized a pre-trained RCNN model for the localization and classification of bonobos. It is primarily applied to individual identification of bonobos, to support manual-intervention-free touchscreen device testing, thereby advancing cognitive research on bonobos.

原始信息汇总

Bonobos Classification 数据集概述

数据集介绍

• 采集地点：柏林动物园
• 采集设备：Panasonic HC-V757 数字摄像机和 Logitech 网络摄像头，分辨率均为 1280x720，帧率为 30 fps
• 视频内容：观察特定个体的动作和互动，可能包含多个个体或无个体（由于遮挡、摄像机操作或个体不在摄像头视野内）
• 个体信息：数据集中包含六个倭黑猩猩个体，分别是 Matayo (雄性/2019年出生)、Monyama (雌性/2010年出生)、Opala (雌性/1998年出生)、Santi (雄性/1981年出生)、Limbuko (雄性/1995年出生)、Leki (雌性/2014年出生)，共100个视频
• 标注方式：手动标注视频聚焦的倭黑猩猩个体，自动标注基于 OpenMMLab 猕猴检测器

数据集下载与验证

• 下载链接：Zenodo 数据集
• 下载步骤：

  1. 克隆仓库： bash git clone https://github.com/ccp-eva/BonobosClassification.git cd BonobosClassification

  2. 下载数据集： bash wget --content-disposition https://zenodo.org/api/records/11149418/files-archive

  3. 验证下载完整性： bash md5sum -c 11149418.md5

  4. 解压数据集： bash unzip 11149418.zip unzip data.zip

  5. 再次验证数据完整性： bash md5sum -c data.md5sum

数据集生成

• 生成脚本：create_database.py 用于根据感兴趣区域（ROI）和分数阈值生成不同数据库

• 示例命令： bash python3 create_database.py --video_input data/videos/ --detection_input data/detections --output_folder ROI_S0 --score-thr 0

• 数据集分割：split_database.py 用于将数据集分割为训练集、验证集和测试集

• 示例命令： bash python3 split_database.py ROI_S0

引用信息

• 论文： bibtex @InProceedings{10.1007/978-3-031-47724-9_45, author="Martin, Pierre-Etienne", title="Dataset Generation and Bonobo Classification from Weakly Labelled Videos", booktitle="Intelligent Systems and Applications", year="2024", publisher="Springer Nature Switzerland", address="Cham", pages="689--700", isbn="978-3-031-47724-9" }

• 数据集： bibtex @dataset{martin_2024_11149418, author = {Martin, Pierre-Etienne and Kopp, Kathrin and Haun, Daniel}, title = {Bonobo Dataset}, month = may, year = 2024, publisher = {Zenodo}, version = {1.0.0}, doi = {10.5281/zenodo.11149418}, url = {https://doi.org/10.5281/zenodo.11149418} }

搜集汇总

数据集介绍

构建方式

Bonobo数据集的构建源于对圈养倭黑猩猩个体进行无人类干预的触屏认知测试需求。研究者利用部署在柏林动物园ZACI设备上的网络摄像头和研究者手持的摄像机，以焦点观察法录制了六只倭黑猩猩的视频。视频仅携带粗略的个体标签，并未标注空间信息或帧内是否存在目标。随后，借助预训练的MacaquePose级联RCNN模型自动检测视频帧中的倭黑猩猩，提取置信度最高的区域作为感兴趣区域，从而半自动化地生成带有弱标注的帧级数据集。根据是否使用检测区域和置信度阈值（0.5），进一步衍生出四个子数据集，以探索数据质量与分类难度之间的平衡。

特点

该数据集的核心特点在于其弱标注与自动生成机制，摒弃了昂贵的手动逐帧标注，转而利用跨物种检测模型实现高效的数据采集。数据集包含84,841个检测样本（高置信度子集为54,345个），涵盖6个个体，样本分布极不均衡，个体样本数从2,214到29,933不等，真实反映了自然观察中的频率差异。与同类灵长类数据集相比，Bonobo数据集在样本规模上具有显著优势，但其分类难度同样突出：感兴趣区域往往仅包含身体局部（如背部、头顶），而非清晰的面部特征，且场景多变，包含遮挡、反射等复杂条件，对模型的鲁棒性提出了严峻挑战。

使用方法

使用该数据集时，必须严格遵循基于视频的数据划分原则，将同一视频的所有帧归入同一数据子集，以避免因帧间高度相似性而导致分类性能的虚假高估。研究者推荐采用60%、20%、20%的比例将视频随机划分为训练集、验证集和测试集。分类任务可基于手工特征（如Hu矩、Haralick纹理和颜色直方图）结合传统机器学习算法（如随机森林），或采用预训练的ResNet18模型进行特征提取或微调。对输入图像进行随机缩放、裁剪和翻转等数据增强后，统一调整至224×224像素。微调ResNet模型在ROI子集上表现最佳，测试准确率达75%，体现了深度特征在复杂局部图像中的判别优势。

背景与挑战

背景概述

Bonobo数据集由德国马克斯·普朗克进化人类学研究所的Pierre-Etienne Martin等人于2023年创建，旨在解决圈养倭黑猩猩个体识别这一核心研究问题。该数据集基于柏林动物园内安装的触摸屏实验装置（ZACI项目）采集的视频，通过弱标注方式生成，共包含6只倭黑猩猩的100段视频，总帧数达129,334帧。与传统的灵长类面部识别数据集不同，Bonobo数据集聚焦于非面部身体部位（如背部、头顶或肢体）的分类，这源于实际采集场景中个体姿势多变、遮挡频繁的挑战。该数据集填补了倭黑猩猩自动识别领域的空白，为认知研究中的无监督数据采集提供了关键资源，其半自动化生成方法对动物行为学与计算机视觉交叉领域具有重要推动作用。

当前挑战

该数据集面临多重挑战：首先，在领域问题层面，倭黑猩猩个体分类的难度远超常规灵长类识别，因为数据采集依赖弱标注视频，缺乏精确的空间标注和个体存在性确认，且分类对象常仅为部分身体区域（如背部或肢体），而非清晰面部特征；其次，构建过程中，视频由研究者操控的摄像机和固定网络摄像头混合录制，导致视角、光照和遮挡条件高度异质，而预训练的猕猴检测模型（RCNN）因物种差异仅能输出低置信度检测结果（得分多低于0.5），进一步污染了数据集质量；此外，个体样本分布严重不均衡（每类样本量从2,590到29,933不等），且视频级分割不当会引发数据泄露，导致交叉验证中虚高的分类准确率（如随机森林达99.9%），而真实测试集准确率仅约75%，凸显了数据分离与泛化能力的根本矛盾。

常用场景

经典使用场景

在动物行为学与计算机视觉交叉研究的背景下，Bonobo数据集为个体识别任务提供了独特的资源。其经典使用场景聚焦于基于弱标注视频的倭黑猩猩个体分类，研究人员通常利用该数据集训练和评估从手工特征分类器（如随机森林）到深度卷积神经网络（如ResNet）的多种模型。通过从视频中自动检测并裁剪感兴趣区域，该数据集支持在自然环境下对倭黑猩猩进行非侵入式的身份识别，尤其适用于研究个体间社会互动、行为模式分析以及长期追踪监测。

衍生相关工作

围绕Bonobo数据集，衍生了一系列推动灵长类计算机视觉发展的经典工作。一方面，研究者借鉴了基于MacaquePose的预训练检测器实现跨物种迁移，验证了通用目标检测模型在倭黑猩猩上的适用性；另一方面，该数据集催生了对手工特征与深度特征在细粒度分类中对比分析的深入探讨，如ResNet微调策略与加权损失函数的设计。此外，数据集构建中强调的视频级数据划分原则，被后续Chimpanzee Face Recognition等研究采纳，成为评估模型真实泛化能力的重要准则。

数据集最近研究

最新研究方向

在灵长类动物行为分析与计算机视觉交叉领域，Bonobo数据集的最新研究聚焦于利用弱监督学习范式实现非人灵长类个体的自动识别与分类。该数据集通过半自动视频采集与弱标注策略生成，针对动物园环境中倭黑猩猩的个体识别难题，探索了手工特征与深度学习方法的性能边界。研究前沿集中于数据划分策略对模型泛化能力的影响，揭示了不当的数据分割会导致分类准确率的虚假高估，并验证了基于ResNet架构的微调模型在复杂场景下的有效性。这一工作不仅为认知科学中的自动化数据采集提供了技术支撑，更推动了非侵入式动物行为监测技术的发展，对于理解灵长类社会行为、保护濒危物种具有深远意义。

相关研究论文

• Dataset Generation and Bonobo Classification from Weakly Labelled Videos

  马克斯·普朗克进化人类学研究所 · 2023年