PanAf-FGBG Dataset

PanAf-FGBG数据集由布里斯托尔大学等研究机构提供，包含来自六个非洲国家的14个国家公园中超过350个独立相机位置记录的20小时野生黑猩猩行为视频。该数据集的特色是每个包含黑猩猩的视频（前景视频）都配有一个相应地从同一相机位置拍摄的不含黑猩猩的背景视频。数据集分为重叠和分离两种视图，用于评估模型在分布内和分布外条件下的表现，以及量化背景对行为识别模型的影响。所有视频都伴有丰富的行为注释和元数据。

The PanAf-FGBG dataset is provided by research institutions including the University of Bristol. It contains 20 hours of wild chimpanzee behavior videos recorded at over 350 independent camera locations across 14 national parks in six African countries. A distinctive feature of this dataset is that each video containing chimpanzees (foreground videos) is paired with a corresponding background video shot from the same camera location that excludes chimpanzees. The dataset is split into two view types: overlapping and disjoint, which are used to evaluate model performance under in-distribution and out-of-distribution conditions, as well as quantify the impact of background on behavior recognition models. All videos are accompanied by rich behavioral annotations and metadata.

搜集汇总

数据集介绍

构建方式

PanAf-FGBG数据集的构建方式是通过在非洲六个国家的14个国家公园和超过350个独立的相机位置收集野外黑猩猩的行为视频。每个包含黑猩猩的视频（前景视频）都配有一个来自同一相机位置的没有黑猩猩的视频（背景视频）。数据集提供了两种视图：一种是相机位置重叠的视图，另一种是相机位置不重叠的视图。这种设置使得可以首次直接评估分布内和分布外条件，以及背景对行为识别模型的影响。所有视频片段都附带丰富的行为注释和元数据，包括唯一的相机ID和详细的文本场景描述。

特点

PanAf-FGBG数据集的特点在于它提供了真实的前景-背景视频对，这些视频对是从非洲六个国家的14个国家公园和超过350个独立的相机位置收集的。数据集包含了20多个小时的视频，每个视频片段都附带丰富的行为注释和元数据。此外，数据集还提供了两种视图：一种是相机位置重叠的视图，另一种是相机位置不重叠的视图。这种设置使得可以首次直接评估分布内和分布外条件，以及背景对行为识别模型的影响。

使用方法

PanAf-FGBG数据集的使用方法包括：1. 使用数据集中的前景和背景视频对来训练行为识别模型；2. 使用数据集中的相机位置重叠和不重叠的视图来进行分布内和分布外条件下的评估；3. 使用数据集中的行为注释和元数据来进一步分析背景对行为识别模型的影响。此外，数据集还提供了背景减除操作和嵌入空间背景补偿技术，这些技术可以帮助提高模型在分布外数据上的性能。

背景与挑战

背景概述

PanAf-FGBG数据集是一个专门用于评估背景信息在野生动物行为识别中作用的野外数据集。该数据集由来自非洲六个国家的14个国家公园和超过350个单个相机位置的野生黑猩猩行为视频组成。该数据集的独特之处在于，它将每个包含黑猩猩的视频（称为前景视频）与来自同一相机位置的不包含黑猩猩的对应背景视频配对。这种设置首次实现了对分布内和分布外条件的直接评估，并量化了背景对行为识别模型的影响。所有视频片段都附带丰富的行为注释和元数据，包括唯一的相机ID和详细的文本场景描述。此外，该数据集还建立了一些基线，并介绍了一种高效的潜在空间归一化技术，该技术通过5.42%的mAP提高了卷积模型和3.75%的mAP提高了基于Transformer的模型的分布外性能。

当前挑战

PanAf-FGBG数据集面临的主要挑战包括：1)如何有效地利用背景信息来提高野生动物行为识别模型的性能；2)如何解决模型在分布外数据上的泛化能力不足的问题；3)如何平衡前景和背景信息在模型训练中的重要性，以避免模型过度依赖背景信息而忽略行为本身。

常用场景

经典使用场景

野生动物保护中，利用相机捕捉到的行为视频进行计算机视觉分析至关重要，因为这些行为是种群健康状况变化的最早指标之一。PanAf-FGBG数据集提供了丰富的野生黑猩猩行为视频，以及与之对应的背景视频，为野生动物行为识别提供了宝贵的资源。数据集的独特之处在于，它允许研究人员直接评估行为识别模型在分布内和分布外条件下的表现，并量化背景信息对行为识别模型的影响。

解决学术问题

PanAf-FGBG数据集解决了现有研究中背景信息对行为识别模型影响评估的局限性。以往的研究通常通过创建背景视频的合成版本（例如，通过遮罩或修复技术去除演员）来评估背景的作用，而PanAf-FGBG数据集提供了真实的背景视频，使得研究人员能够在分布内和分布外条件下对背景信息的影响进行真实的评估。此外，数据集还量化了背景持续时间（即前景视频中无演员的背景帧数量）对行为识别模型的影响，这是以往研究中未曾探索的。

衍生相关工作

PanAf-FGBG数据集的发布推动了野生动物行为识别领域的相关研究。基于该数据集，研究人员可以进行更深入的实验，评估背景信息对行为识别模型的影响，并探索提高模型在分布外数据上的泛化能力的有效方法。此外，数据集的丰富元数据和详细的行为注释还可以用于创建新的实验配置和任务，进一步推动野生动物行为识别领域的研究。