evals-eastrus-vl

evals-eastrus-vl 是一个用于评估 EstrusVision 奶牛发情检测模型的独立数据集。该数据集包含用于衡量模型部署准备情况的地面真实标签。数据集包含 43 个样本（40 个域内奶牛外阴图像和 3 个域外样本），其中嵌入了图像列（无外部文件依赖）。每个域内样本包含六个症状地面真实标签，并设有 'out_of_domain' 标志用于拒绝测试，以及包含临床观察记录的 'notes' 字段。域内样本的标签分布包括 'mucus_color'、'swelling_severity'、'redness_severity'、'moisture_level'、'mucus_viscosity' 和 'tissue_turgidity' 等六个方面。数据集适用于图像分类和视觉问答任务，特别适用于农业和兽医领域的计算机视觉应用。

原始信息汇总

evals-eastrus-vl 数据集概述

数据集基本信息

• 名称: evals-eastrus-vl
• 用途: 用于 EstrusVision 奶牛发情检测模型的独立评估数据集，包含用于衡量部署准备情况的地面真实标签。
• 许可证: other
• 任务类别: 图像分类、视觉问答
• 语言: 英语
• 数据规模: n<1K
• 配置: 默认配置，数据文件路径为 data/test-*，仅包含测试集。

数据内容

• 样本总数: 43个（40个域内奶牛外阴图像，3个域外图像）
• 数据格式: 嵌入的 image 列（无外部文件依赖）
• 标签信息: 每个域内样本包含六个症状地面真实标签
• 特殊字段: out_of_domain 标志用于拒绝测试，notes 字段包含临床观察记录

标签分布（仅域内样本）

• mucus_color: {clear: 5, none: 35}
• swelling_severity: {mild: 15, moderate: 20, prominent: 5}
• redness_severity: {mild: 23, moderate: 14, prominent: 3}
• moisture_level: {glistening: 11, moist: 29}
• mucus_viscosity: {none: 35, watery: 5}
• tissue_turgidity: {normal: 25, turgid: 15}

数据列说明

列名	类型	描述
image	Image	嵌入的图像字节
image_filename	string	原始文件名
out_of_domain	bool	对于非外阴图像为True（奶牛前视图、汽车、狗）
notes	string	临床观察记录
mucus_color	string	none, clear, cloudy（若为域外样本则为null）
swelling_severity	string	none, mild, moderate, prominent（若为域外样本则为null）
redness_severity	string	none, mild, moderate, prominent（若为域外样本则为null）
moisture_level	string	dry, moist, glistening（若为域外样本则为null）
mucus_viscosity	string	none, thick, watery（若为域外样本则为null）
tissue_turgidity	string	flaccid, normal, turgid（若为域外样本则为null）

使用说明

加载数据集

python from datasets import load_dataset ds = load_dataset("prapaa/evals-eastrus-vl", split="test")

筛选域内样本

domain = ds.filter(lambda x: not x["out_of_domain"]) print(f"{len(domain)} in-domain eval samples")

使用EstrusVision评估

bash python scripts/evaluate.py --backend gguf --labels-file eval/labels_eval.jsonl

重要注意事项

• 这些图像未包含在训练集中
• 域外样本用于测试模型拒绝无关输入的能力
• 许可证为other，在重新分发前请确认图像数据许可

搜集汇总

数据集介绍

构建方式

在畜牧养殖智能化进程中，精准识别母牛发情状态对提升繁殖效率至关重要。evals-eastrus-vl数据集专为评估EstrusVision模型而构建，其核心在于提供一套独立于训练数据的验证样本。该数据集共包含43个样本，其中40个为域内母牛外阴部图像，3个为域外图像，旨在测试模型对无关输入的拒绝能力。每个域内样本均标注了六项临床症状的真实标签，包括黏液颜色、肿胀程度、红肿程度、湿润水平、黏液粘稠度及组织充盈度，这些标签由临床观察记录支持，确保了评估的客观性与专业性。

特点

该数据集的特点体现在其精心设计的评估维度与结构化标注体系。域内样本全面覆盖了母牛发情期外阴部的关键生理指标，如肿胀程度分为轻度、中度与显著，湿润水平涵盖湿润与闪亮等细致等级，为模型性能提供了多维度的量化基准。同时，数据集引入了域外样本作为干扰项，例如汽车或犬类图像，用以检验模型在真实场景中区分相关与无关视觉信息的能力。所有图像均以嵌入式字节形式存储，避免了外部文件依赖，而临床观察笔记字段则增强了数据的可解释性，为后续分析提供了宝贵的上下文信息。

使用方法

使用该数据集时，研究人员可通过Hugging Face的datasets库直接加载测试集，并利用过滤功能分离域内样本进行核心评估。评估过程需结合配套的评估脚本，指定后端引擎与标签文件路径，以系统化地测量模型在各项临床症状上的预测准确率与域外样本拒绝率。值得注意的是，数据集中的图像均未参与模型训练，确保了评估结果的公正性；在使用前，用户应确认其许可条款，特别是涉及图像数据再分发时的合规要求。这种使用方法不仅支持模型部署前的性能验证，也为算法在畜牧健康监测领域的实际应用提供了可靠的基准测试框架。

背景与挑战

背景概述

在精准畜牧业领域，牛只发情期的自动检测是提升繁殖效率与管理水平的关键技术。evals-eastrus-vl数据集作为EstrusVision模型部署前的独立评估基准，由研究人员prapaa于近期构建并发布。该数据集聚焦于通过视觉特征识别牛只外阴部的发情症状，核心研究问题在于验证计算机视觉模型在真实农业场景中的泛化能力与临床适用性。其小规模但高标注质量的样本集，为畜牧智能化提供了可量化的评估工具，推动了从实验室模型到农场实际应用的转化进程。

当前挑战

该数据集旨在解决牛只发情视觉检测中的模型部署验证挑战，其核心难点在于如何确保模型对细微且多变的生理症状（如黏液颜色、肿胀程度等）具有鲁棒的分类性能，并能有效拒绝非相关域图像的干扰。在构建过程中，挑战主要源于高质量临床图像的稀缺性，以及多维度症状标签的标准化标注需要专业兽医知识参与，同时还需在有限样本量下平衡类别分布，以反映真实养殖环境中的症状多样性。

常用场景

经典使用场景

在精准畜牧业领域，evals-eastrus-vl数据集被设计用于评估牛只发情检测视觉模型的性能。该数据集通过提供包含牛外阴图像的独立测试样本，并标注了黏液颜色、肿胀程度、红肿严重性、湿度水平、黏液粘稠度及组织充盈度等多维度症状标签，为模型在真实场景下的泛化能力提供了标准化评估基准。研究人员利用此数据集对预训练模型进行端到端测试，验证其在未见数据上的分类准确性与鲁棒性，从而推动自动化发情识别技术的迭代优化。

解决学术问题

该数据集主要解决了计算机视觉在农业生物监测中面临的标注数据稀缺与评估标准不一的问题。通过提供精细的症状分级标签和明确的域外样本标识，它支持模型在细粒度分类任务上的性能量化，并促进了模型对无关输入的拒绝能力研究。其结构化的评估框架有助于学术界建立可复现的基准，推动跨模型比较，从而加速视觉感知技术在动物生理状态监测领域的理论进展与应用落地。

衍生相关工作

围绕该数据集衍生的经典工作主要包括基于多标签分类的牛只健康状态预测模型，以及结合域外检测的鲁棒性增强方法。例如，EstrusVision模型利用此类数据进行端到端评估，推动了轻量化视觉架构在边缘设备上的部署研究。后续工作进一步探索了跨品种泛化、时序症状分析等方向，丰富了精准畜牧领域的算法生态，并为相关开源工具链的开发提供了数据基础。