Bio-logger Ethogram Benchmark (BEBE)

BEBE是一个包含行为注释的数据集集合，是目前为止最大、分类学上最多样化的公开可用基准之一，包含从九个分类群的149个个体的1654小时数据。

BEBE is a collection of datasets with behavioral annotations, and it stands as one of the largest and taxonomically most diverse publicly available benchmarks to date, containing 1654 hours of data from 149 individuals across nine taxonomic groups.

原始信息汇总

The Bio-logger Ethogram Benchmark (BEBE)

数据集获取

所有原始和格式化的 BEBE 数据集均可从 Zenodo 仓库 获取。

运行单个实验

• 示例配置文件位于 example_config 目录中。
• 编辑配置文件中的输出目录并运行 python single_experiment.py --config /path/to/CONFIG_NAME.yaml。
• 配置文件指定训练使用 1、2、3、4 折，测试使用 0 折。
• 训练和评估后，结果和图表可在配置文件指定的输出目录中找到。

运行多个实验

• 运行 python cross_val_experiment.py --experiment-dir-parent=/path/to/dir/where/experiment/should/go --experiment-name=EXPERIMENT NAME --dataset-dir=/path/to/formatted/dataset/ --model=MODEL TYPE --resume。
• 支持的模型类型包括 CNN, CRNN, rf, kmeans, wavelet-kmeans, gmm, hmm, umapper, vame, iic, 和 random。
• 最终结果保存在 final_result_summary.yaml 文件中。
• 每个个体的分数可在 fold_$i/test_eval.yaml 和 fold_$i/train_eval.yaml 中找到。

独立评估

• 模型预测应保存为 .csv 文件，形状为 [n_samples,]，每个条目为一个整数。
• 文件名应与原始数据集中的文件名相同。
• 使用 BEBE/evaluation/evaluation.py 中的 generate_evaluations_standalone 函数进行评估。

实现新模型

1. 从 BehaviorModel 继承基本结构，位于 BEBE/models/model_superclass.py。
2. 在 BEBE/models/default_configs 目录中包含新的 model_type.yaml 文件。
3. 在 BEBE/training/train_model.py 中包含新模型类。
4. 在 BEBE/utils/hyperparameters.py 中添加模型以进行超参数优化。

处理新数据集

处理新数据集的示例笔记本可在 BEBE-datasets 中找到。