syafinion/fyp-oil-palm-seed-robustness-artifacts

# FYP Oil Palm Seed Robustness Artefacts

This repository contains the software artefacts for the final year project:

**Robust Oil Palm Seed Quality Classification under Cross-Batch Domain Shift Using Test-Time Adaptation and Calibrated Invariance**

The project investigates binary oil palm seed quality classification under cross-batch domain shift. A source-trained classifier is evaluated on shifted target batches, then compared across standard test-time adaptation, calibrated transformed-view inference, train-time augmentation, hybrid branches, mask-guided consistency, proxy-matched nuisance sampling, and AQR follow-up checks.

## Contents

- `dataset/` contains the project image data and mask folders used by the experiments.
- `scripts/` contains the Python scripts used for training, evaluation, test-time adaptation, invariance experiments, mask-guided checks, and saved-output generation.
- `notebooks/` contains the Colab notebooks used for the main experiment branches.
- `outputs/` contains the selected saved experiment outputs included in this Moodle ZIP, including aggregate tables, logs, figures, JSON summaries, predictions, and monitoring panels. Large `.pt` checkpoint artefacts are referenced through the public Hugging Face repository link below.
- `USER_MANUAL.md` explains how to inspect and run the project.
- `requirements.txt` lists the main Python dependencies.

## Public Artefact Link

The public Hugging Face artefact repository is:

https://huggingface.co/datasets/syafinion/fyp-oil-palm-seed-robustness-artifacts

## Notes

The full `outputs/` directory is intentionally large because the project generated trained checkpoint artefacts and saved experiment evidence. This Moodle ZIP keeps selected reproducibility and result-output files and points to the public Hugging Face artefact repository for the larger checkpoint mirror.

The project investigates binary oil palm seed quality classification under cross-batch domain shift. The dataset includes project image data and mask folders used by the experiments, aiming to evaluate the performance of a source-trained classifier on shifted target batches and compare different test-time adaptation and calibrated invariance methods.

搜集汇总

数据集介绍

构建方式

该数据集专为油棕籽粒质量分类的跨批次域迁移鲁棒性研究而构建，聚焦于源域预训练分类器在目标域偏移场景下的性能退化与修正。数据集中包含实验所需的原始图像与掩膜文件夹，通过脚本模块驱动训练、评估、测试时自适应、不变性实验、掩膜引导一致性检查及代理匹配噪声采样等多元流程。实验分支依托Colab笔记本实现，其输出结果涵盖聚合表格、日志、可视化图表、JSON摘要及预测记录，完整记录了训练检查点与实验证据，大体积检查点文件则通过公用Hugging Face存储库镜像托管。

特点

该数据集以油棕籽粒二分类质量鉴别为应用场景，系统模拟了跨批次域偏移对分类器鲁棒性的挑战。其核心特色在于集成多种测试时自适应策略与校准不变性方法，包括标准自适应、校准变换视角推理、训练时数据增强、混合分支架构、掩膜引导一致性约束、代理匹配噪声采样及AQR后续校验等模块。数据集不仅提供原始图像与掩膜，还包含完整的实验脚本与产出文件，支持端到端的可重复研究，尤其适合探索域偏移下模型泛化能力的提升路径。

使用方法

用户可通过Hugging Face公共仓库直接访问该数据集，下载后参照仓库中的`USER_MANUAL.md`文件了解项目运行指南。数据集目录包含实验所需的图像与掩膜数据，脚本文件夹中的Python程序支持训练、评估与自适应实验的复现，主实验分支则通过Colab笔记本驱动。用户还可利用`outputs`目录中的已保存实验输出（包括表格、日志及预测结果）进行结果验证与分析，大容量检查点文件需通过提供的Hugging Face链接获取镜像副本。依赖环境由`requirements.txt`管理，确保实验可复现性。

背景与挑战

背景概述

油棕榈种子的质量分类是农业领域中一项关键任务，其准确性直接影响油棕榈产业的产量与经济效益。然而，在跨批次生产环境中，由于光照、湿度、种子批次等条件变化导致的域偏移现象，使得传统基于固定训练集的分类模型在实际部署中性能显著下降。该数据集创建于2023年，由研究团队针对油棕榈种子质量检测中的跨批次域偏移难题而构建，核心研究问题聚焦于如何利用测试时自适应、校准不变性等技术实现鲁棒的二元质量分类。该数据集不仅提供了实验所需的图像与掩模数据，还包含了多种先进算法的实验脚本与结果，其影响力体现在推动了植物表型分析领域中域适应与鲁棒性研究的深入发展，为农业自动化检测提供了重要的基准资源。

当前挑战

本数据集所面对的领域挑战主要集中在油棕榈种子质量分类任务中跨批次域偏移带来的性能退化问题。不同批次种子在成像条件、表面纹理及颜色分布上存在显著差异，导致源域训练的模型难以泛化到目标域，严重限制了实际流水线中的部署效果。在数据集构建过程中，挑战则表现为高质量标注数据的获取与异质性环境下的数据增强策略设计。由于油棕榈种子表面细节复杂且易受外部噪声干扰，需要精心设计掩模引导的一致性约束与代理样本采样方法，以确保模型在不同域中的判别力与校准性，同时应对计算资源与标注成本的限制，维护实验的可复现性。

常用场景

经典使用场景

在农业与植物表型分析领域，油棕榈种子的质量分类是育种与生产环节中的关键任务。该数据集专为跨批次域迁移下的二元油棕榈种子质量分类而设计，经典使用场景涉及将源域训练好的分类器部署到存在分布偏移的目标批次上。研究者可借助该数据集评估模型在面对实际生产环境中因时间、产地或存储条件不同而引入的域差异时的鲁棒性，从而检验分类器在真实场景中的泛化能力。

解决学术问题

该数据集旨在解决农业机器视觉中因跨批次域迁移导致的性能退化问题，即当训练数据与测试数据来源于不同生产批次时，传统监督学习模型往往因分布偏移而出现显著准确率下降。通过提供标准化的实验框架，该数据集允许研究者系统性地比较测试时自适应、校准变换推理、数据增强、混合分支、掩码引导一致性等技术在缓解域迁移影响方面的效果，推动了领域自适应与模型鲁棒性理论在农业图像分类中的实证研究。

衍生相关工作

该数据集衍生了一系列探索跨域鲁棒分类的前沿工作，包括基于测试时自适应（TTA）的模型快速适应方法、融合校准变换推断的不确定性估计策略、以及利用掩码引导一致性进行注意力约束的混合架构。相关研究还延伸至代理匹配噪声采样与AQR校验相结合的后续处理流程，为域迁移下的模型部署提供了系统性的评估基准与可复现的实验管线，成为农业AI领域验证域适应算法有效性的重要参照。