ChimpACT

arXiv2023-10-25 更新2024-08-06 收录

下载链接：

http://arxiv.org/abs/2310.16447v1

下载链接

链接失效反馈

官方服务：

资源简介：

ChimpACT是一个全面的数据集，用于量化黑猩猩在社会群体中的长期行为和社会关系。该数据集涵盖了2015年至2018年，包含德国莱比锡动物园中超过20只黑猩猩的视频，特别关注记录一只年轻雄性黑猩猩Azibo的发展轨迹。ChimpACT包含163个视频，总计160,500帧，每一帧都丰富地标注了检测、识别、姿态估计和细粒度的时空行为标签。

ChimpACT is a comprehensive dataset designed for quantifying long-term behaviors and social relationships of chimpanzees within their social groups. Spanning from 2015 to 2018, the dataset contains videos of over 20 chimpanzees at Leipzig Zoo, Germany, with a special focus on documenting the developmental trajectory of a young male chimpanzee named Azibo. ChimpACT consists of 163 videos totaling 160,500 frames, each of which is richly annotated with detection, recognition, pose estimation, and fine-grained spatiotemporal behavior labels.

创建时间：

2023-10-25

搜集汇总

数据集介绍

构建方式

在非人灵长类动物行为研究领域，高质量纵向数据集的匮乏长期制约着对黑猩猩社会交互的深入探索。为弥补这一空白，ChimpACT数据集应运而生，其构建基于2015年至2018年间在德国莱比锡动物园对一群超过20只黑猩猩的持续观测，尤其聚焦于一只名为Azibo的年轻雄性个体的发育轨迹。数据采集采用焦点采样法，由研究人员使用三脚架固定的RGB摄像机在白天时段录制，最终从约405小时的原始视频中精选出163个片段，累计约160,500帧。每个片段约1000帧，涵盖室内外半自然化栖息地环境。标注工作由15名经过培训的标注员在专业行为研究者的监督下完成，以每10帧为间隔，为每只黑猩猩提供检测框、身份、16个身体关键点以及基于行为谱的细粒度时空行为标签，并由熟悉该群体的行为学家进行严格审核与校正。

特点

ChimpACT数据集的核心特色在于其综合性与挑战性的完美融合。作为首个为机器学习与计算机视觉社区提供完整行为谱标注的黑猩猩数据集，它系统地将日常行为划分为移动、物体交互、社会交互及其他四大类，并细分为23个子类别，尤其精细区分了社交行为中的发起者与接受者（如理毛与被理毛），深刻揭示了群体生活的社交动态。数据集跨越四年，记录了稳定的黑猩猩群体的纵向发展，为研究个体行为演化、社会技能习得及群体文化传承提供了宝贵窗口。此外，其长尾分布特性——少数个体与行为占据多数标注——真实反映了野外黑猩猩的行为模式，同时也为识别与行为识别任务带来了严峻挑战，为探索小样本学习等前沿方向提供了理想平台。

使用方法

ChimpACT被明确设计为支持三大核心计算机视觉任务的基准平台。用户可首先利用其丰富的检测框、身份与跟踪ID标注，开发与评估多目标跟踪与重识别算法，以应对黑猩猩群体中频繁遮挡与个体外观相似带来的挑战。其次，数据集中16个语义关键点的精确坐标与可见性信息，为训练和测试黑猩猩姿态估计模型提供了坚实基础，其独特的关节灵活性与毛发纹理与人类显著不同，促使研究者开发专用而非简单迁移人类的算法。最后，基于行为谱的时空动作标签，使得研究者能够训练模型在视频中同时定位并识别黑猩猩的复杂行为，无论是单独行动还是社会交互。数据集已划分标准的训练、验证与测试集，并提供了主流方法的基线性能，便于后续研究进行公平比较与创新突破。

背景与挑战

背景概述

非人灵长类动物行为研究对于揭示人类社交行为的进化根源、改善动物福利以及推动比较心理学发展具有重要意义。然而，受限于高质量纵向行为数据集的匮乏，尤其是针对黑猩猩这一与人类亲缘关系最近的物种，现有研究多依赖耗时费力的人工编码，且易受观察者偏差影响。为突破这一瓶颈，北京大学与加州大学圣迭戈分校的研究团队于2023年构建了ChimpACT数据集，该数据集聚焦于德国莱比锡动物园一个拥有20余只个体的黑猩猩社群，特别追踪了雄性幼崽Azibo从2015年至2018年的成长轨迹。数据集包含163段视频、累计16万帧影像，并提供了检测、身份识别、姿态估计及细粒度时空行为标签等丰富标注，为计算机视觉与灵长类行为学的交叉研究提供了前所未有的基准平台。ChimpACT的发布填补了纵向、半自然环境下黑猩猩行为量化研究的空白，对推动非人灵长类社交行为自动分析技术的发展具有里程碑式意义。

当前挑战

ChimpACT数据集当前面临多重挑战。在领域问题层面，黑猩猩的独特形态（如全身浓密毛发导致低对比度与低颜色变化）、灵活的关节活动范围以及频繁的自我遮挡，使得直接迁移人类姿态估计与跟踪算法效果不佳，现有方法在跟踪任务中的HOTA指标显著低于人类数据集基准。在构建过程中，挑战尤为突出：长达四年的纵向数据采集需投入大量资源，且需在室内外半自然环境下确保视频质量的一致性；标注工作涉及23只个体的身份确认、16个关键点定位及23种精细行为分类，需由经验丰富的灵长类行为学家反复校验，以保证标注的准确性与一致性；此外，行为标签呈现典型的长尾分布，部分社交互动类别的样本极为稀少，对模型的少样本学习能力提出了严峻考验。

常用场景

经典使用场景

在计算机视觉与动物行为学的交叉领域，ChimpACT数据集为研究非人灵长类动物的社交行为提供了前所未有的纵向视角。该数据集最经典的使用场景在于对黑猩猩个体进行检测、跟踪与重识别，通过标注超过23个个体在163段视频中的轨迹，研究者能够量化群体内个体的运动模式与互动频率。同时，数据集支持精细的2D姿态估计，涵盖16个关键点（包括面部与四肢），使得分析黑猩猩独特的关节灵活性和运动姿态成为可能。此外，基于23类行为（如理毛、拥抱、携带）的时空动作检测，为理解复杂社交动态（如角色分化与互动发起-接收关系）奠定了数据基础。

衍生相关工作

ChimpACT衍生了一系列推动非人灵长类行为分析技术边界的经典工作。在跟踪与重识别方向，QDTrack与ByteTrack等方法的基准测试揭示了黑猩猩皮毛低对比度与自我遮挡带来的独特挑战，催生了针对灵长类外观特征的身份关联算法。姿态估计方面，HRNet与DarkPose的适配工作凸显了黑猩猩关节运动范围与人类差异，促使研究者开发融合运动学约束的专用骨架模型。动作检测领域，SlowFast与LFB的对比实验表明，社交互动类行为（如理毛与拥抱）的细粒度区分仍需结合时空上下文建模。这些工作共同构建了从个体识别到群体行为分析的完整技术栈。

数据集最近研究