MNIST, FashionMNIST, KMNIST, USPS, GTSRB, OPTDIGITS, CIFAR10, CIFAR100-20

该仓库包含多个用于深度聚类算法训练和测试的数据集，包括手写数字识别的MNIST、时尚物品识别的FashionMNIST、日文手写数字识别的KMNIST、美国邮政服务手写数字识别的USPS、德国交通标志识别的GTSRB、光学数字识别的OPTDIGITS、图像分类的CIFAR10和CIFAR100-20。

This repository contains multiple datasets for training and testing deep clustering algorithms, including MNIST for handwritten digit recognition, FashionMNIST for fashion item recognition, KMNIST for Japanese handwritten digit recognition, USPS for handwritten digit recognition from the United States Postal Service, GTSRB for German traffic sign recognition, OPTDIGITS for optical digit recognition, as well as CIFAR10 and CIFAR100-20 for image classification.

原始信息汇总

数据集概述

数据集名称

BRB: Breaking the Reclustering Barrier

数据集简介

BRB数据集用于支持论文"Breaking the Reclustering Barrier"的研究。该数据集通过周期性地对特征编码器进行软重置并重新聚类，防止基于质心的深度聚类算法在早期出现性能停滞。BRB显著提升了多种数据集和任务上基于质心的深度聚类算法的性能。

包含的聚类算法

• DEC
• IDEC
• DCN

包含的数据集

• MNIST
• FashionMNIST
• KMNIST
• USPS
• GTSRB
• OPTDIGITS
• CIFAR10
• CIFAR100-20

预训练模型

提供CIFAR10和CIFAR100-20的预训练SimCLR ResNet-18模型，包含Pytorch权重。

数据集	模型链接
CIFAR10	http://e.pc.cd/eGjy6alK
CIFAR100-20	http://e.pc.cd/Yrjy6alK

安装与使用

安装方式

• Pip: pip install -e .
• Conda: conda env create -f environment.yml

配置与运行

• 使用tyro进行配置管理，配置文件存储在configs文件夹中。
• 支持单次运行和批量运行，可通过CLI覆盖参数。
• 提供SLURM集成脚本，支持在SLURM集群上运行实验。

自定义适配

BRB包含三个组件，可用于任意基于质心的聚类算法：

1. 软重置
2. 重新聚类
3. 动量重置

日志记录

默认使用Weights & Biases记录训练指标，支持下载数据生成论文质量的图表。

结果

提供多种聚类算法在不同数据集上的结果，包括自动编码器和对比学习的结果。

致谢

代码基于ClustPy和SCAN库进行修改和扩展。

引用

如使用该数据集进行研究，请引用相关论文。

搜集汇总

数据集介绍

构建方式

该数据集的构建基于多种经典图像分类任务，包括手写数字识别（MNIST）、时尚物品分类（FashionMNIST）、日文汉字识别（KMNIST）、美国邮政服务手写数字识别（USPS）、德国交通标志识别（GTSRB）、光学字符识别（OPTDIGITS）、以及两个版本的CIFAR图像分类（CIFAR10和CIFAR100-20）。这些数据集通过深度学习技术进行预处理和特征提取，确保了数据的高质量和多样性，为后续的聚类算法提供了丰富的训练样本。

使用方法

使用该数据集时，研究者可以通过提供的预训练模型进行快速实验，或者根据需要调整模型的参数和结构。数据集的配置文件和训练脚本详细记录了各种参数设置，便于用户进行定制化实验。此外，数据集支持多种运行环境，包括本地运行和SLURM集群运行，提供了灵活的实验环境。通过Weights & Biases的日志记录功能，用户可以方便地跟踪实验进度和结果，进行深入的分析和比较。

背景与挑战

背景概述

在深度学习领域，图像分类和聚类一直是核心研究课题。MNIST, FashionMNIST, KMNIST, USPS, GTSRB, OPTDIGITS, CIFAR10, CIFAR100-20等数据集的创建，为这些研究提供了丰富的实验基础。这些数据集由多个知名研究机构和学者共同开发，旨在解决图像识别和分类中的关键问题。例如，MNIST数据集自1998年由Yann LeCun等人创建以来，已成为手写数字识别的标准基准。FashionMNIST则由Zalando Research在2017年推出，用于替代MNIST以测试更复杂的图像分类算法。这些数据集不仅推动了图像处理技术的发展，还为深度学习模型的训练和评估提供了宝贵的资源。

当前挑战

尽管这些数据集在图像分类和聚类领域取得了显著成就，但仍面临诸多挑战。首先，数据集的多样性和复杂性要求算法具备高度的泛化能力，以应对不同类型的图像。其次，构建过程中遇到的挑战包括数据标注的准确性和一致性问题，以及数据集规模的扩展和维护。此外，随着深度学习技术的进步，现有数据集可能无法完全满足新型算法的需求，需要不断更新和扩展。最后，数据集的隐私和安全问题也日益受到关注，如何在保护用户隐私的前提下有效利用数据集，是一个亟待解决的问题。

常用场景

经典使用场景

在深度学习领域，MNIST, FashionMNIST, KMNIST, USPS, GTSRB, OPTDIGITS, CIFAR10, CIFAR100-20等数据集常用于图像分类和聚类任务。这些数据集的经典使用场景包括但不限于：通过训练卷积神经网络（CNN）来识别手写数字（MNIST）、时尚物品（FashionMNIST）、日文汉字（KMNIST）等。此外，CIFAR10和CIFAR100-20数据集广泛用于验证图像识别模型的性能，特别是在多类别分类任务中。

解决学术问题

这些数据集在学术研究中解决了多个关键问题，如图像分类模型的性能评估、深度学习算法在不同数据集上的泛化能力测试，以及聚类算法的效果验证。通过这些数据集，研究人员能够系统地比较不同算法的优劣，推动了图像处理和计算机视觉领域的发展。此外，这些数据集还为初学者提供了丰富的实验材料，促进了深度学习技术的普及和教育。

实际应用

在实际应用中，这些数据集被广泛用于开发和测试图像识别系统，如自动车牌识别（GTSRB）、手写数字识别（MNIST）、时尚物品推荐（FashionMNIST）等。此外，CIFAR10和CIFAR100-20数据集在自动驾驶、医疗影像分析、安全监控等领域也有重要应用，帮助提升了这些系统的准确性和可靠性。

数据集最近研究

最新研究方向

在深度学习与聚类分析的交叉领域，MNIST, FashionMNIST, KMNIST, USPS, GTSRB, OPTDIGITS, CIFAR10, CIFAR100-20等数据集的研究正朝着打破重聚类障碍的方向发展。最新的研究聚焦于通过周期性应用软重置和后续的重聚类来防止基于质心的深度聚类算法在早期阶段出现性能停滞。这种方法不仅帮助模型逃脱局部最小值，还显著提升了聚类算法的整体性能。这一研究方向在图像识别、模式识别等应用场景中具有重要意义，预示着未来在数据集优化和算法改进方面的广阔前景。