neis-lab/mmcows

MmCows是一个大规模的多模态数据集，用于监测奶牛的行为、健康管理和饮食管理。该数据集包括来自16头奶牛在14天现实世界部署期间收集的数据，分为两个模态组。主组包括3D UWB定位、奶牛颈部IMMU加速度、气压、奶牛CBT、脚踝加速度、多视角RGB图像、室内THI、室外天气和牛奶产量。次组包含测量的UWB距离、奶牛头部方向、躺下行为和健康记录。MmCows还包含一天内从多个摄像头视角拍摄的20,000张等距视图图像，这些图像标记有奶牛ID和它们的行为作为地面真实数据。

MmCows is a large-scale multimodal dataset for behavior monitoring, health management, and dietary management of dairy cattle. The dataset consists of data from 16 dairy cows collected during a 14-day real-world deployment, divided into two modality groups. The primary group includes 3D UWB location, cows neck IMMU acceleration, air pressure, cows CBT, ankle acceleration, multi-view RGB images, indoor THI, outdoor weather, and milk yield. The secondary group contains measured UWB distances, cows head direction, lying behavior, and health records. MmCows also contains 20,000 isometric-view images from multiple camera views in one day that are annotated with cows ID and their behavior as the ground truth.

搜集汇总

数据集介绍

构建方式

在精准畜牧业领域，MmCows数据集的构建体现了多模态数据融合的前沿理念。该数据集通过为期14天的真实农场部署，系统采集了16头奶牛的多源信息，涵盖超宽带定位、惯性测量单元加速度、气压、体温及多视角RGB图像等核心模态。数据采集过程结合专家标注，从多视角图像中提取了2万张等距视图，并标注了奶牛身份与行为作为基准真值，进而推算出三维体态定位真值，确保了数据在时空维度上的精确对齐与丰富性。

特点

MmCows数据集以其大规模、多模态与高精度标注著称，为奶牛行为监测与健康管理研究提供了全面支持。数据集不仅整合了室内温湿度指数、室外气象与产奶量等环境与生产数据，还包含了奶牛躺卧行为、头部方向及健康记录等衍生信息，形成了覆盖生理、行为与环境的多维度观测体系。其多视角视觉数据与传感器数据的同步采集，为跨模态融合与定位算法验证提供了独特而可靠的基础。

使用方法

研究者可通过HuggingFace平台便捷获取MmCows数据集，利用提供的命令行或Python脚本下载指定文件或完整文件夹。数据集适用于图像分类、目标检测及多模态融合等任务，用户可依据实验需求选取视觉数据、传感器记录或标注信息进行模型训练与评估。详细的数据结构说明与基准测试方法已在相关GitHub页面公开，支持用户快速开展精准畜牧业中的行为识别、健康预警与资源管理研究。

背景与挑战

背景概述

在精准畜牧业领域，多模态数据融合技术正成为提升奶牛行为监测与健康管理效率的关键。MmCows数据集由neis-lab团队于近年构建，旨在通过整合超宽带定位、惯性测量单元、多视角图像及环境传感器等多源数据，为奶牛行为识别、健康评估及饲养优化提供综合性研究平台。该数据集采集自16头奶牛在真实养殖环境中连续14天的观测数据，涵盖了三维空间定位、生理指标、行为视频及产奶量等多维度信息，其规模超过1TB，为畜牧智能化管理提供了重要的数据基础，推动了传感器融合与计算机视觉技术在农业领域的交叉应用。

当前挑战

MmCows数据集致力于解决精准畜牧业中奶牛个体行为监测与健康管理的复杂问题，其核心挑战在于如何有效融合异构传感器数据以实现高精度行为识别与定位。在构建过程中，研究团队面临多源时空数据同步校准、大规模多视角图像标注一致性、以及真实养殖环境下的传感器部署稳定性等技术难题。此外，数据集的多元模态结构对算法设计提出了更高要求，需克服跨模态特征对齐、噪声过滤及隐私保护等关键障碍，以提升模型在复杂场景下的鲁棒性与泛化能力。

常用场景

经典使用场景

在精准畜牧业领域，MmCows数据集为奶牛行为监测与健康管理提供了多模态数据支撑。该数据集通过整合超宽带定位、惯性测量单元加速度、多视角RGB图像及环境参数等多元信息，构建了一个涵盖16头奶牛在14天真实养殖环境下的综合观测框架。其经典应用场景聚焦于利用传感器融合技术，实现对奶牛日常活动模式、采食行为及生理状态的连续追踪与分析，为自动化养殖管理系统的开发奠定数据基础。

解决学术问题

MmCows数据集有效应对了畜牧学研究中长期存在的数据碎片化与模态单一问题。通过同步采集三维空间定位、生物体征与环境变量，该数据集使得研究人员能够深入探究奶牛行为与环境因子之间的复杂关联机制。其在动物个体识别、异常行为检测及健康预警模型构建方面的贡献，显著推动了精准畜牧业从经验驱动向数据驱动范式的转型，为优化养殖效率与动物福利提供了量化依据。

衍生相关工作

基于MmCows数据集的多模态特性，学术界衍生出若干创新研究方向。在计算机视觉领域，研究者利用其标注的多视角图像开发了基于深度学习的奶牛个体重识别算法；在传感器融合方面，出现了结合UWB定位与IMU数据的奶牛三维运动轨迹重建方法；此外，该数据集还催生了面向早期疾病检测的时序异常预测模型，以及融合热舒适指数（THI）的奶牛应激行为分析框架，持续拓展着智慧畜牧的研究边界。