Bio-logger Ethogram Benchmark (BEBE)

BEBE是一个包含行为注释的数据集集合，是目前为止最大、分类学上最多样化的公开可用基准之一，包含从九个分类群的149个个体的1654小时数据。BEBE is a collection of datasets with behavioral annotations, and it stands as one of the largest and taxonomically most diverse publicly available benchmarks to date, containing 1654 hours of data from 149 individuals across nine taxonomic groups.

原始信息汇总

The Bio-logger Ethogram Benchmark (BEBE)

数据集获取

所有原始和格式化的 BEBE 数据集均可从 Zenodo 仓库 获取。

运行单个实验

• 示例配置文件位于 example_config 目录中。
• 编辑配置文件中的输出目录并运行 python single_experiment.py --config /path/to/CONFIG_NAME.yaml。
• 配置文件指定训练使用 1、2、3、4 折，测试使用 0 折。
• 训练和评估后，结果和图表可在配置文件指定的输出目录中找到。

运行多个实验

• 运行 python cross_val_experiment.py --experiment-dir-parent=/path/to/dir/where/experiment/should/go --experiment-name=EXPERIMENT NAME --dataset-dir=/path/to/formatted/dataset/ --model=MODEL TYPE --resume。
• 支持的模型类型包括 CNN, CRNN, rf, kmeans, wavelet-kmeans, gmm, hmm, umapper, vame, iic, 和 random。
• 最终结果保存在 final_result_summary.yaml 文件中。
• 每个个体的分数可在 fold_$i/test_eval.yaml 和 fold_$i/train_eval.yaml 中找到。

独立评估

• 模型预测应保存为 .csv 文件，形状为 [n_samples,]，每个条目为一个整数。
• 文件名应与原始数据集中的文件名相同。
• 使用 BEBE/evaluation/evaluation.py 中的 generate_evaluations_standalone 函数进行评估。

实现新模型

1. 从 BehaviorModel 继承基本结构，位于 BEBE/models/model_superclass.py。
2. 在 BEBE/models/default_configs 目录中包含新的 model_type.yaml 文件。
3. 在 BEBE/training/train_model.py 中包含新模型类。
4. 在 BEBE/utils/hyperparameters.py 中添加模型以进行超参数优化。

处理新数据集

处理新数据集的示例笔记本可在 BEBE-datasets 中找到。

搜集汇总

数据集介绍

构建方式

BEBE数据集汇聚了来自九个不同分类单元的动物运动数据集，其中包含一个此前未发表的新数据集（Crow）。这些数据均通过动物携带的生物记录器（bio-logger）采集，记录了三轴加速度计、陀螺仪、深度、速度等多维时间序列信息。每个数据集均附有基于人工观察或视频/音频回放生成的详尽行为注释（ethogram），注释以离散行为类别标记每一采样时刻。为确保跨个体泛化能力，数据集按个体划分为五折，确保同一折内不出现重复个体，并采用交叉验证策略进行模型训练与评估。

特点

BEBE是迄今为止规模最大、分类多样性最广的公开生物记录器行为分类基准，涵盖149个个体、总计1654小时的数据，包含从人类、陆生哺乳动物、海洋哺乳动物到鸟类和爬行动物等多类物种。各数据集在采样率、传感器配置、行为类别数量及注释持续时间上存在显著差异，真实反映了实际研究中的异质性。特别地，BEBE首次公开了鲸、乌鸦、响尾蛇和海鸥四个数据集，并提供了标准化的评估指标（精确率、召回率与F1分数），为跨物种行为分类方法的系统比较奠定了坚实基础。

使用方法

使用BEBE时，研究者需遵循预设的监督式行为分类任务：基于训练集（四折个体）训练模型，并在测试集（剩余一折个体）上评估其预测行为注释的能力。评估时忽略标记为Unknown的时刻，并采用宏平均F1分数作为主要性能指标。BEBE提供了完整的开源代码库，支持直接加载格式化数据、复现基准实验，并允许用户贡献新数据集以扩展基准的物种覆盖和任务多样性。研究者亦可利用BEBE进行自监督预训练效果的验证，或在低标注数据场景下评估模型的迁移学习能力。

背景与挑战

背景概述

动物行为研究是生态学与进化生物学的核心议题，行为模式直接影响个体的繁殖成功与生存概率。随着生物遥测技术（bio-logging）的飞速发展，研究人员得以借助动物携带的传感器（如加速度计、陀螺仪等）记录海量高分辨率运动与环境数据，为揭示野生动物的生态生理机制和保护策略提供了前所未有的契机。然而，从这些复杂时序数据中自动化识别行为状态仍面临严峻挑战。为弥合这一鸿沟，Earth Species Project 联合多国研究团队于2023年发布了生物记录仪行为谱基准（Bio-logger Ethogram Benchmark, BEBE）。该基准汇集了来自9个分类群、149个个体、总计1654小时的行为标注数据，涵盖人类、哺乳类、鸟类、爬行类及海洋生物，成为迄今规模最大、分类多样性最丰富的公开生物记录行为分析基准。BEBE旨在为机器学习方法在动物行为分类中的系统比较提供标准化框架，从而推动该领域的可重复研究与方法创新。

当前挑战

BEBE所应对的核心挑战在于行为分类方法缺乏统一的跨物种评估平台。此前研究多聚焦于单一或近缘物种，导致方法间的比较难以进行，且多数数据集未公开，阻碍了社区协作。构建过程中，团队面临多重难题：首先，不同研究采用的传感器类型、采样率、标签位置及行为谱定义高度异质，需在保留数据多样性的同时实现标准化；其次，标注方式差异显著，部分行为依赖直接观察、视频或音频，标注误差难以量化，尤其对于稀有行为（如海龟的“觅食”），标注样本量极不均衡；此外，跨物种迁移学习的有效性尚待验证，特别是从人类腕部加速度计数据预训练的模型能否泛化至形态与运动模式迥异的动物，是方法论上的关键挑战。最终，BEBE通过引入自监督预训练、深度神经网络与经典方法的系统对比，揭示了低数据场景下预训练模型的有效性，并为行为分类的精度上限提供了实证依据。

常用场景

经典使用场景

在动物行为生态学与生物遥测技术交叉领域，Bio-logger Ethogram Benchmark (BEBE) 被广泛用作标准化基准，以评估和比较不同机器学习模型在从动物携带传感器（如加速度计）数据中自动分类行为状态时的性能。其典型应用场景包括：研究人员利用该基准中涵盖九个物种、跨越一千六百余小时的多源数据，对卷积神经网络、循环神经网络以及传统随机森林等方法进行系统性对比，从而确定在特定物种或数据条件下最优的行为识别算法。这有助于推动从原始传感器信号到精细行为图谱的高效转化。

解决学术问题

BEBE 的核心学术价值在于解决了动物行为自动分类领域长期缺乏统一比较框架的困境。此前，针对不同物种的研究常采用异构的数据集和评价指标，导致方法间难以横向对比。该基准通过提供标准化的任务定义、交叉验证协议以及宏平均F1分数等评价指标，使得研究者能够客观衡量模型在跨个体、跨物种泛化时的表现。此外，它揭示了深度神经网络，尤其是结合自监督预训练的策略，在标注数据稀缺时仍能显著优于传统手工特征方法，从而为低数据场景下的动物行为建模提供了理论支撑与实践指引。

衍生相关工作

BEBE 的发布催生了一系列极具影响力的衍生工作。其中最引人注目的是基于自监督学习框架的 harnet 模型，该模型先在七十万人天的人类腕部加速度数据上进行预训练，再迁移至动物行为分类任务，在低数据量设定下展现出卓越的泛化能力。此外，研究者基于该基准进一步探索了多模态传感器融合（如结合陀螺仪、深度计）对行为识别精度的提升，并开发了面向边缘计算设备的轻量化卷积架构。这些工作不仅深化了对动物运动模式的理解，也为构建跨物种、跨传感器的通用行为分析工具奠定了方法论基础。