CHIRP (Combining beHaviour, Individual Re-identification and Postures)

CHIRP数据集是由康斯坦茨大学等机构联合创建的综合性鸟类行为监测数据集，专注于西伯利亚松鸦的长期个体行为研究。该数据集包含16,190条视频片段，覆盖183个独特个体，支持重新识别、动作识别、2D关键点估计等多项计算机视觉任务。数据来源于瑞典拉普兰地区2014至2022年的标准化行为记录视频，通过人工标注和YOLOv8模型辅助处理生成。数据集特别设计了应用特定基准测试，如喂食率和个体共现率等生物学指标，旨在解决野生动物行为监测中的多任务协同问题，为生态学和保护生物学研究提供技术支撑。

CHIRP dataset is a comprehensive avian behavior monitoring dataset jointly created by the University of Konstanz and other institutions, focusing on long-term individual behavior research of Siberian jays. This dataset contains 16,190 video clips covering 183 unique individuals, and supports multiple computer vision tasks such as re-identification, action recognition and 2D key point estimation. The data is derived from standardized behavioral recording videos collected in Lapland, Sweden between 2014 and 2022, and was generated through manual annotation and auxiliary processing with the YOLOv8 model. The dataset specially designs application-specific benchmark indicators including biological metrics such as feeding rate and individual co-occurrence rate, aiming to solve the multi-task collaboration problem in wildlife behavior monitoring, and provide technical support for ecological and conservation biology research.

原始信息汇总

CHIRP数据集概述

数据集基本信息

• 数据集名称：CHIRP dataset
• 核心目标：面向野生鸟类种群的长期、个体层面的行为监测
• 研究对象：瑞典拉普兰地区的西伯利亚松鸦（Perisoreus infaustus）
• 关联会议：CVPR 2026

数据集构成与任务

CHIRP数据集为多种计算机视觉任务提供数据支持：

• 视频重识别：涵盖182个个体，共16,110个视频片段
• 行为识别：涵盖3种行为，共1,387个视频片段
• 2D关键点估计：包含13个关键点，共1,178个实例
• 鸟类分割与边界框：共1,669个实例
• 彩色脚环分割：涵盖12种颜色，共944张图像

应用特定基准

• 特点：一种新颖的基准测试流程，通过组合多个任务来评估生物学相关指标
• 目的：评估算法改进对下游生物学测量（如喂食率、共现率）的影响
• 鼓励：研究者除报告任务特定基准外，也报告此应用特定基准的结果

提供的模型权重

数据集提供了一组在论文基准测试中使用的模型权重：

• C3D模型（用于行为识别，基于mmaction2）
• Vitpose-large和hrnet模型（用于2D关键点估计，基于mmpose）
• Mask2former模型（用于脚环实例分割，基于mmdetection）
• YOLOv8模型（用于目标检测，基于ultralytics）
• CORVID随机森林模型（用于应用特定基准）

数据获取与状态

• 下载链接：https://github.com/alexhang212/CHIRP_Dataset
• 当前状态：下载链接暂未开放，预计于2026年3月26日后几天内准备就绪

联系方式

如有关于数据集的疑问，请联系Alex Chan： hoi-hang.chan[at]uni-konstanz.de

致谢

该工作由德国研究基金会（DFG）等多个项目资助，并感谢多位研究人员和现场工作人员对长期数据集的贡献。

搜集汇总

数据集介绍

构建方式

在野生动物行为生态学领域，长期监测个体行为对于理解物种适应机制至关重要。CHIRP数据集的构建依托于瑞典拉普兰地区长期研究的西伯利亚松鸦野生种群，通过标准化喂食装置采集了2014至2022年间443段高清视频。研究团队采用多阶段标注策略：首先利用YOLOv8模型自动检测鸟类个体，再结合BORIS软件的手动行为记录，提取出仅包含单一个体的视频片段；随后通过人工校验确保身份标注的准确性，并依据个体出现的时间与空间信息，构建了包含封闭集、分离集和开放集三种划分方式的视频重识别数据集。此外，针对行为识别与关键点估计任务，团队从视频中裁剪出特定行为片段，并进行了精细的关键点标注与行为分类，最终形成了覆盖重识别、行为识别、二维关键点估计、目标检测与实例分割的多任务数据集。

使用方法

为促进计算机视觉技术在生态学研究中的有效部署，CHIRP数据集提供了多层次的使用路径。研究者可依据具体任务，分别使用其重识别、行为识别或关键点估计子集进行模型训练与任务特异性评估。更为重要的是，数据集鼓励采用其应用特异性评估框架：用户可将训练好的检测、跟踪、重识别与行为识别模型集成至统一流程，在提供的独立测试视频上运行，并计算个体喂食率与共现率等生物学指标，从而直接评估整套方案对最终生态学测量的影响。数据集附带的元数据（如个体出现范围列表）可用于约束重识别搜索空间，提升模型实用性能。此外，其提供的彩色腿环分割数据可作为先验知识，用于开发类似CORVID的、基于领域特征的识别方法，实现无需大量标注数据的个体身份识别。

背景与挑战

背景概述

CHIRP数据集由康斯坦茨大学、马克斯·普朗克动物行为研究所等机构的研究团队于2026年提出，旨在推动野生鸟类长期个体行为监测的计算机视觉研究。该数据集基于瑞典拉普兰地区西伯利亚松鸦的长期野外观察数据构建，覆盖了从2014年至2022年的视频资料，核心研究问题在于如何通过整合个体重识别、行为识别与姿态估计等多重任务，实现对野生动物行为的自动化、精细化分析。CHIRP的创立标志着计算机视觉技术与生态学、行为学研究的深度融合，为生物多样性保护与进化生物学提供了关键的数据支撑，其多任务标注框架与应用导向的评估机制，显著提升了模型在真实场景中的适用性与可靠性。

当前挑战

CHIRP数据集致力于解决野生鸟类长期个体行为监测中的核心挑战，即在复杂自然环境下实现‘谁在做什么’的精准解析。具体而言，该领域面临个体重识别因鸟类外观相似性、姿态多变及环境干扰而难度陡增的问题；行为识别则需应对动作类别的有限性与数据分布不均衡的局限。在构建过程中，研究团队需克服多任务标注的协同性难题，确保重识别、行为标注与关键点估计在时间与空间上的一致性；同时，数据来源于长期野外采集，标注工作依赖人工与自动方法的结合，需有效处理视频片段中的身份误匹配与行为漏标注，以保障生物学测量的准确性。此外，数据集目前仅包含单一物种，其算法泛化能力仍有待跨系统验证。

常用场景

经典使用场景

在野生动物行为生态学领域，长期监测个体行为对于理解物种适应性与社会动态至关重要。CHIRP数据集通过整合西伯利亚松鸦的野外视频数据，为计算机视觉模型提供了多任务学习的经典场景。该数据集支持个体重识别、行为识别、关键点估计等任务的联合训练，使得研究人员能够在一个统一框架下同时解决“谁在做什么”的核心问题，从而实现对野生鸟类种群行为的自动化、精细化解析。

解决学术问题

CHIRP数据集有效应对了野生动物行为监测中的两大挑战：多任务协同与误差传递评估。传统方法往往孤立处理识别与行为分析任务，导致模型难以直接应用于实际监测场景。该数据集通过提供身份、行为、姿态的同步标注，并引入基于生物学指标（如取食率、共现率）的应用特定基准测试，使得研究者能够量化模型误差对最终生态学测量的影响，从而推动计算机视觉方法向真实世界应用场景的可靠迁移。

实际应用

该数据集的实际应用主要体现在对野生鸟类种群的长期行为监测与保护研究中。通过自动化提取个体的取食行为、社会互动频率等关键指标，生态学家能够高效追踪环境变化对鸟类行为的影响，评估保护措施的有效性。例如，在西伯利亚松鸦的长期研究中，基于CHIRP的模型可自动统计不同个体的取食成功率与群体共现模式，为理解合作行为的演化机制提供数据支撑，同时降低人工观测的成本与主观偏差。

数据集最近研究

最新研究方向

在野生动物行为监测领域，CHIRP数据集正推动计算机视觉与生态学研究的深度融合。其前沿探索聚焦于多任务协同的自动化监测框架，通过整合个体重识别、行为识别与姿态估计等任务，构建端到端的生物行为解析系统。研究热点围绕应用导向的评估范式创新，如引入喂食率、共现率等生物学指标，直接衡量算法对生态学测量的影响。该数据集通过引入基于彩色脚环检测的CORVID方法，为野外鸟类个体识别提供了可扩展的新思路，同时其时间跨度长达九年的标注数据为研究行为的时间动态演化提供了珍贵资源。这些进展不仅提升了野生动物长期监测的自动化水平，也为理解动物社会行为、环境适应机制等生态学核心问题提供了技术基石。

相关研究论文

• CHIRP dataset: towards long-term, individual-level, behavioral monitoring of bird populations in the wild

  康斯坦茨大学·集体行为高级研究中心; 马克斯·普朗克动物行为研究所·集体行为系; 康斯坦茨大学·生物学系; 康斯坦茨大学·计算机与信息科学系; Luonua Boreal野外站; 牛津布鲁克斯大学·生物与医学科学学院; 斯德哥尔摩大学·动物学系; 马克斯·普朗克动物行为研究所·动物社会生态系 · 2026年