Beagle dog dataset

这是一个用于论文《Three-dimensional surface motion capture of multiple freely moving pigs using MAMMAL》（Nature Communications 2023）中的比格犬数据集。数据集包含三个视频文件夹，所有视频均使用GoPro BLACK 11相机以线性类型录制，分辨率为1920*1080p，帧率为120fps。数据集还包括用于校准的视频和COCO格式的2D检测数据集。This is the Beagle dog dataset from the paper *Three-dimensional surface motion capture of multiple freely moving pigs using MAMMAL* (Nature Communications 2023). The dataset contains three video folders. All videos were recorded with a GoPro BLACK 11 camera in linear recording mode, with a resolution of 1920×1080p and a frame rate of 120 fps. The dataset also includes calibration videos and a COCO-formatted 2D detection dataset.

原始信息汇总

Beagle Dog Dataset

数据集简介

该数据集用于论文 "Three-dimensional surface motion capture of multiple freely moving pigs using MAMMAL" (Nature Communications 2023)。

下载链接

• Google Drive: https://drive.google.com/drive/folders/1bRYKzB1-ClJwHGsk1g6Opi04eijASp0U?usp=sharing
• Baidu Pan: https://pan.baidu.com/s/1ZxPvXKjECu-HKLx3OSg9eg?pwd=13tw, 提取码: 13tw

数据描述

视频文件夹

• synced_15m_bk: 15分钟长，120fps，1920*1080p，.mp4格式，h264编码。包含两只比格犬。注意：6.mp4在录制过程中损坏，因此只有2分36秒长。
• synced_15m_1fps: 上述视频的1fps下采样版本。前113帧标注了3D关键点和每视图掩码。0到89帧用于训练2D检测模型，90到112帧用于评估。参见beagle_coco获取清理后的COCO数据集。
• synced_0.5m_single: 30秒长，120fps，1920*1080p，.mp4格式，h264编码。包含单只比格犬。
• calib: 用于校准的视频（棋盘格12*9网格，网格边长0.03m）。

其他文件夹

• beagle_coco: 2D检测数据集，采用COCO格式。每张图像手动标注了2D关键点和掩码，共29个关键点。images和images_unique文件夹包含相同图像，但名称不同。unique索引图像按统一顺序排列。在论文中，images_unique用于训练。annotations_unique_train.json是训练部分，annotations_unique_eval.json是评估部分。
• calibdata_beagle: camera_undist.json是最终校准结果。backgrounds包含所有视图的清理背景图像。

引用

如果发现此数据有用，请引用以下论文：

@article{an2023three, title={Three-dimensional surface motion capture of multiple freely moving pigs using MAMMAL}, author={An, Liang and Ren, Jilong and Yu, Tao and Hai, Tang and Jia, Yichang and Liu, Yebin}, journal={Nature Communications}, volume={14}, number={1}, pages={7727}, year={2023}, publisher={Nature Publishing Group UK London} }

许可证

MIT License

搜集汇总

数据集介绍

构建方式

该数据集的构建基于对Beagle犬的三维表面运动捕捉，通过使用GoPro BLACK 11相机记录视频。数据集包含三个主要视频文件夹：`synced_15m_bk`、`synced_15m_1fps`和`synced_0.5m_single`，分别记录了15分钟的双犬视频、15分钟的视频降采样至1fps以及30秒的单犬视频。所有视频均为1920*1080p分辨率，120fps帧率，并以h264编码的`.mp4`格式存储。此外，数据集还包括用于校准的视频和COCO格式的2D检测数据集，后者包含手动标注的2D关键点和掩码。

特点

此数据集的显著特点在于其多视角视频记录和精细的标注。所有视频均采用线性类型记录，确保了数据的高质量。`synced_15m_1fps`文件夹中的视频经过降采样处理，前113帧标注了3D关键点和每视图掩码，其中前90帧用于训练2D检测模型，后23帧用于评估。`beagle_coco`文件夹提供了COCO格式的2D检测数据集，包含29个关键点的标注，确保了数据集在2D姿态模型训练中的实用性。

使用方法

使用该数据集时，用户可以通过Google Drive或百度网盘下载。下载后，用户可以利用`synced_15m_bk`和`synced_0.5m_single`文件夹中的视频进行多视角分析和三维重建。对于2D检测模型的训练和评估，用户应使用`beagle_coco`文件夹中的数据，特别是`annotations_unique_train.json`和`annotations_unique_eval.json`文件。此外，`calib`文件夹中的视频可用于相机校准，确保数据处理的准确性。

背景与挑战

背景概述

Beagle狗数据集是由清华大学Liang An等人创建，用于支持其在2023年发表于《Nature Communications》的论文《Three-dimensional surface motion capture of multiple freely moving pigs using MAMMAL》。该数据集的核心研究问题在于通过多视角视频捕捉和三维表面运动捕获技术，实现对自由移动的Beagle狗的精确运动分析。这一研究不仅推动了动物行为学和计算机视觉的交叉领域发展，还为后续的动物行为研究提供了宝贵的数据资源。

当前挑战

该数据集在构建过程中面临了多重挑战。首先，视频录制过程中出现了技术故障，导致部分视频文件损坏，如`synced_15m_bk`中的`6.mp4`仅剩2分36秒。其次，数据集的标注工作复杂，需要手动标注2D关键点和掩码，且存在数据泄露的风险，如使用`annotations_unique_eval.json`进行模型评估可能导致训练数据与测试数据的重叠。此外，数据集的规模有限，可能影响模型的泛化能力。

常用场景

经典使用场景

在动物行为学研究中，Beagle狗数据集被广泛用于三维表面运动捕捉。该数据集通过多视角视频记录，提供了高帧率的Beagle狗运动视频，以及相应的2D关键点和3D关键点标注。这些数据为研究人员提供了丰富的信息，用于开发和验证动物运动分析算法，特别是在多目标跟踪和姿态估计方面。

实际应用

在实际应用中，Beagle狗数据集可用于开发和优化动物行为监测系统，广泛应用于农业、生物医学研究以及动物保护等领域。例如，通过分析Beagle狗的运动模式，研究人员可以更好地理解动物的行为习性，从而改进动物福利和健康监测技术。

衍生相关工作

基于Beagle狗数据集，许多相关研究工作得以展开，包括但不限于多目标跟踪算法、三维姿态估计模型以及动物行为分析系统。这些工作不仅提升了数据集的应用价值，还为后续研究提供了宝贵的参考和基准。例如，一些研究利用该数据集开发了新的深度学习模型，显著提高了动物运动捕捉的精度和效率。