Noisy Ostracods

Noisy Ostracods数据集是由香港大学、东京大学和中国科学院南京地质古生物研究所共同创建的，用于微型甲壳类动物（Ostracods）的属和种分类。该数据集包含71,466个标本，分布在70个属和100多个种中，旨在解决真实世界中细粒度分类数据集的噪声问题。数据集的创建过程包括多次手动检查和重新拍摄损坏的照片，并使用YOLO模型进行标注和错误修正。该数据集主要应用于生物学研究中的细粒度分类任务，旨在提高机器学习模型在噪声数据上的鲁棒性和准确性。

The Noisy Ostracods Dataset was jointly created by the University of Hong Kong, the University of Tokyo, and the Nanjing Institute of Geology and Palaeontology, Chinese Academy of Sciences, for the genus and species classification of tiny crustaceans (Ostracods). This dataset contains 71,466 specimens belonging to 70 genera and over 100 species, aiming to address the noise issue in real-world fine-grained classification datasets. The development process of the dataset includes multiple manual checks and re-shooting of damaged photographs, as well as annotation and error correction using the YOLO model. It is primarily applied to fine-grained classification tasks in biological research, with the goal of improving the robustness and accuracy of machine learning models on noisy data.

搜集汇总

数据集介绍

构建方式

Noisy Ostracods数据集通过收集自香港沉积样本的71,466个标本构建而成，这些样本用于评估香港海洋环境的人为影响。数据集的构建过程包括使用VHX-7000显微镜对样本进行拍照，并使用YOLO模型进行迭代标注、训练、标注精炼、错误移除和重新训练，以从背景中裁剪出ostracods。最终，数据集包含了78个已标注的属和138个已标注的种。

特点

Noisy Ostracods数据集具有多样化的噪声来源，包括开放集噪声、伪类噪声和高度不平衡的类别分布。数据集中的噪声不仅来自原始标注者，还包括拍照过程和数据预处理步骤。此外，数据集还包含了项目特定的错误，这些错误在不同项目中表现出高变异性。

使用方法

Noisy Ostracods数据集可用于评估和改进在存在标签噪声情况下的机器学习模型的鲁棒性。研究者可以使用该数据集进行标签噪声检测和纠正方法的实验，以及开发能够有效处理多样化真实世界噪声的噪声鲁棒机器学习方法。数据集的详细信息和评估协议可在GitHub上获取。

背景与挑战

背景概述

Noisy Ostracods数据集由香港大学、东京大学和南京地质古生物研究所的研究人员共同创建，旨在解决微型甲壳动物（Ostracods）的属和种分类问题。该数据集包含71,466个样本，其中5.58%的样本在属级别上被估计为噪声数据。数据集的创建旨在应对实际挑战，即创建一个干净的细粒度分类数据集。Noisy Ostracods数据集的多样性噪声来源包括开放集噪声、伪类噪声以及高度不平衡的数据分布，这为现有的鲁棒机器学习方法带来了独特的挑战。通过公开发布Noisy Ostracods数据集，研究团队希望鼓励进一步研究，开发能够有效处理多样性、真实世界噪声的鲁棒机器学习方法。

当前挑战

Noisy Ostracods数据集面临的挑战主要集中在两个方面：一是解决领域问题，即图像分类中的噪声问题；二是数据集构建过程中遇到的挑战。在领域问题方面，数据集的开放集噪声、伪类噪声以及高度不平衡的数据分布使得现有的鲁棒机器学习方法难以有效应对。在构建过程中，研究人员在图像采集、标注和预处理阶段均遇到了噪声引入的问题，如图像质量不佳、碎片化错误和位置错误等。此外，数据集的细粒度分类特性使得噪声检测和纠正方法的性能受到限制，现有的噪声鲁棒算法在处理此类复杂噪声特性时表现不佳。

常用场景

经典使用场景

Noisy Ostracods数据集主要用于微型甲壳类动物的属和种分类任务，特别是在存在专家注释噪声的情况下。该数据集通过提供71,466个标本，涵盖超过100个物种和70个属，为开发和评估鲁棒的机器学习方法提供了丰富的资源。其经典使用场景包括在噪声标签环境下进行细粒度分类模型的训练和测试，以及探索标签校正方法的有效性。

解决学术问题

Noisy Ostracods数据集解决了在真实世界数据中创建干净细粒度分类数据集的挑战。通过提供一个包含多种噪声源（如开放集噪声、伪类噪声和类不平衡）的数据集，它促进了噪声鲁棒机器学习方法的发展。该数据集的意义在于推动了对现有噪声鲁棒算法在细粒度分类任务中表现的深入理解，并鼓励开发能够有效处理真实世界噪声的新方法。

衍生相关工作

Noisy Ostracods数据集的发布催生了一系列相关研究工作，特别是在噪声标签学习和标签校正领域。例如，研究者们利用该数据集评估了多种噪声鲁棒训练方法（如Co-teaching、DivideMix和Confident Learning）的性能。此外，该数据集还促进了基于特征表示的标签噪声检测方法（如SimiFeat和AUM）的研究。这些工作不仅提升了对噪声标签问题的理解，还推动了相关算法在实际应用中的改进和优化。