MmCows

MmCows是一个用于奶牛监测的多模态数据集，包含穿戴传感器数据和来自四个摄像头的视觉数据。数据集包括传感器数据、UWB同步的多视角图像、互联网时间同步的视觉数据以及高分辨率的奶牛照片。

MmCows is a multimodal dataset developed for dairy cattle monitoring, containing wearable sensor data and visual data collected from four cameras. The dataset includes sensor data, UWB-synchronized multi-view images, internet-time synchronized visual data, as well as high-resolution photographs of dairy cows.

原始信息汇总

MmCows: 多模态奶牛监测数据集

数据描述

数据组成部分

• 传感器数据：包含14天的可穿戴传感器数据，位于sensor_data.zip中。
• 视觉数据：包含多个数据集，包括：
  • uwb_synced_images：14天部署期间的超宽带同步多视角图像。
  • 1s_interval_videos：完整的互联网时间同步视觉数据，以视频格式提供。
  • cow_gallery.zip：奶牛的高分辨率照片。
• 附加数据集：用于基准测试的数据集，如cropped_bboxes.zip和trained_model_weights.zip。

数据下载链接

• sensor_data.zip (18 GB)
• visual_data.zip (20 GB)
• uwb_synced_images
• 1s_interval_images
• 1s_interval_images_3hr
• cow_gallery.zip
• cropped_bboxes.zip (13 GB)
• trained_models.zip (1 GB)

传感器数据结构

${ROOT} |-- main_data | |-- uwb | |-- immu | | |-- acceleration | | |-- magnetic | |-- pressure | |-- cbt | |-- ankle (to be swapped) | |-- thi | |-- weather | |-- milk |-- sub_data | |-- uwb_distance | |-- hd (to be renamed) | |-- lnl (to be swapped) | |-- visual_location | |-- health_records |-- behavior_labels |-- individual

数据描述

数据	描述	间隔	持续时间
uwb	从uwb_distance计算的奶牛的3D颈部位置	15 s	14 d
immu	奶牛颈部的加速度和磁场	0.1 s	14 d
pressure	奶牛颈部的环境气压	0.1 s	14 d
cbt	奶牛的核心体温	60 s	14 d
ankle	踝部传感器记录的踝部加速度	60 s	14 d
thi	圈舍周围的室内温度、湿度和THI	60 s	14 d
weather	附近气象站收集的室外天气	300 s	14 d
milk	每头奶牛的日奶产量（公斤）	1 d	14 d
uwb_distance	标签到锚点的距离	15 s	14 d
hd	从immu数据计算的头部方向	0.1 s	14 d
lnl	从ankle数据计算的躺卧行为	60 s	14 d
visual_location	从注释视觉数据计算的3D身体位置	15 s	1 d
health_records	奶牛的健康记录	-	-
behavior_labels	手动注释的奶牛行为标签	1 s	1 d

视觉数据结构

${ROOT} |-- images |-- labels | |-- standing | |-- lying | |-- combined |-- proj_mat |-- behavior_labels | |-- individual |-- visual_location

数据描述

数据	描述	间隔	持续时间
images	UWB同步的等距视图图像，其他无关的圈舍被遮蔽	15 s	1 d
labels	每个摄像头视图中个体奶牛的注释奶牛ID和边界框，格式为[cow_id, x,y,w,h]，归一化为4480x2800的分辨率。分为三组：仅站立（非躺卧）奶牛、仅躺卧奶牛或站立和躺卧奶牛	15 s	1 d
proj_mat	用于将3D世界位置投影到2D像素位置的矩阵	-	-
behavior_labels	手动注释的奶牛行为标签	1 s	1 d
visual_location	使用视觉定位从labels推导的奶牛身体3D位置	15 s	1 d

UWB同步视觉数据（15秒间隔）

数据描述

数据	描述	间隔	持续时间
images	4个摄像头未遮蔽的UWB同步等距视图图像	15 s	14 d
proj_mat	用于将3D世界位置投影到2D像素位置的矩阵	1 d	14 d

完整视觉数据（1秒间隔）

数据描述

数据	描述	间隔	持续时间
1s_interval_images	14天部署期间的互联网时间同步帧，采样率为1秒	1 s	14 d
1s_interval_images_3hr	7/25从12 PM到3 PM的1s_interval_images子集，文件较小	1 s	3 hr

搜集汇总

数据集介绍

构建方式

MmCows数据集的构建融合了可穿戴传感器数据与多视角视觉数据，旨在为奶牛监测提供全面的多模态信息。传感器数据包括从奶牛颈部和脚踝收集的加速度、磁场和压力等物理量，以及核心体温和环境温度等生理指标。视觉数据则通过四台摄像机捕捉奶牛的行为和位置，确保数据的时空同步性。此外，数据集还提供了高分辨率的奶牛照片和预训练模型权重，以支持行为分类和健康监测的研究。

特点

MmCows数据集的显著特点在于其多模态数据的全面性和同步性。数据集不仅包含了奶牛的生理和行为数据，还通过视觉数据提供了直观的行为表现。此外，数据集的构建考虑了实际应用场景，提供了多种数据格式和预处理工具，便于研究人员快速上手和进行深度分析。数据集的标注精细，确保了数据的高质量和可靠性，适用于多种机器学习和计算机视觉任务。

使用方法

使用MmCows数据集时，用户首先需要下载并解压相关数据文件，然后根据README文件中的指导配置本地环境。数据集提供了详细的脚本和预训练模型，用户可以选择直接使用这些模型进行测试，或从头开始训练新的模型。数据集还提供了可视化工具，帮助用户更好地理解和分析数据。通过这些工具和资源，研究人员可以高效地进行奶牛行为监测和健康评估的研究。

背景与挑战

背景概述

MmCows数据集由普渡大学工程学院的研究团队创建，旨在为奶牛监测提供一个多模态的数据集。该数据集的核心研究问题是如何通过结合可穿戴传感器和视觉数据来全面监测奶牛的行为和健康状况。自2024年起，该数据集已成为奶牛监测领域的重要资源，为研究人员提供了丰富的数据支持，推动了相关技术的进步。

当前挑战

MmCows数据集在构建过程中面临多重挑战。首先，数据采集涉及多种传感器和摄像头的同步，确保数据的时间一致性是一个技术难题。其次，数据标注需要高度专业化的知识，以确保行为分类和健康状态识别的准确性。此外，数据集的规模庞大，存储和处理这些数据对计算资源提出了高要求。最后，如何有效地整合多模态数据以提高监测系统的性能，也是当前研究的重点和难点。

常用场景

经典使用场景

MmCows数据集的经典使用场景主要集中在奶牛行为监测和健康评估领域。通过整合可穿戴传感器和多视角视觉数据，研究人员可以分析奶牛的日常行为模式，如站立、躺卧、进食等，以及这些行为与环境因素（如温度、湿度）的关系。此外，该数据集还支持奶牛个体识别和行为分类模型的训练，为精准农业和动物福利研究提供了宝贵的资源。

实际应用

在实际应用中，MmCows数据集被广泛用于奶牛场的智能化管理。通过分析奶牛的行为数据，农场主可以及时发现奶牛的健康问题，如疾病或压力，从而采取相应的干预措施。此外，该数据集还支持自动化奶牛识别和行为监测系统的开发，提高了农场管理的效率和精确度，有助于提升奶牛的福利和生产效率。

衍生相关工作

基于MmCows数据集，许多相关研究工作得以展开。例如，有研究利用该数据集开发了新的奶牛行为分类算法，显著提高了分类的准确性。此外，还有研究通过分析多模态数据，提出了新的奶牛健康评估模型，能够更早地预测奶牛的健康问题。这些衍生工作不仅丰富了数据集的应用场景，也为相关领域的学术研究提供了新的思路和方法。