Tiny ImageNetV2, -R, -A, MedMNIST-C, EuroSAT-C

本研究提出了多个针对小规模数据集的测试集变体，包括Tiny ImageNetV2, -R, -A，以及医疗和航空领域的MedMNIST-C和EuroSAT-C。这些数据集通过将ImageNet的泛化和鲁棒性基准转移到小规模数据领域来创建，旨在评估和提升Vision Transformers在有限数据情况下的性能和鲁棒性。数据集的创建过程涉及将真实数据与生成数据结合，以扩展现有的小规模数据集。这些数据集主要应用于图像分类任务，特别是在医疗影像和航空影像分析领域，以解决数据稀缺和模型鲁棒性不足的问题。This study proposes several test set variants for small-scale datasets, including Tiny ImageNetV2, -R, -A, as well as MedMNIST-C and EuroSAT-C from the medical and aviation domains. These datasets are developed by transferring the generalization and robustness benchmarks of ImageNet to the small-scale data domain, aiming to evaluate and improve the performance and robustness of Vision Transformers under limited data conditions. The dataset creation process combines real-world data with generated data to expand existing small-scale datasets. These datasets are mainly applied to image classification tasks, especially in medical imaging and aerial image analysis, to address the issues of data scarcity and insufficient model robustness.

搜集汇总

数据集介绍

构建方式

Tiny ImageNetV2, -R, -A, MedMNIST-C, EuroSAT-C数据集的构建是为了评估和提升Vision Transformers (ViTs)在小规模图像分类任务上的准确性和鲁棒性。这些数据集通过从现有的大型数据集中转移通用的泛化能力和鲁棒性基准来创建。具体来说，Tiny ImageNetV2是在Tiny ImageNet的基础上，通过与ImageNetV2的联合类别图像进行比较来评估泛化能力。Tiny ImageNet-R则用于研究模型在面对图像类型变化（如绘画、玩具或涂鸦）时的鲁棒性。Tiny ImageNet-A基于ImageNetA，仅保留ResNet-18误分类的图像。MedMNIST-C和EuroSAT-C则是在MedMNIST和EuroSAT数据集的基础上，引入了15种不同的图像腐蚀，每种腐蚀有5个严重程度级别，用于评估模型对常见图像腐蚀的鲁棒性。

特点

这些数据集的特点在于它们都是小规模数据集，旨在模拟实际应用中可能遇到的数据稀缺情况。它们提供了对ViTs在小规模数据集上的性能进行评估的机会，并展示了GenFormer方法在这些数据集上的有效性。此外，这些数据集的构建还考虑了不同类型的鲁棒性，包括对抗性攻击、数据分布偏移和图像腐蚀等，使得这些数据集能够全面评估模型的鲁棒性。

使用方法

使用这些数据集的方法包括以下步骤：首先，训练一个下游感知的图像生成模型GΘ，使用真实数据Dreal进行训练。然后，使用生成模型生成Ngen个图像xgen，并将其与真实数据Dreal合并，形成混合数据集Dmix。最后，在Dmix上训练分类器CΘ，以进行下游任务。在整个训练过程中，可以结合使用数据增强、知识蒸馏和架构调整等技术，以进一步提高准确性和鲁棒性。

背景与挑战

背景概述

Tiny ImageNetV2, -R, -A, MedMNIST-C, EuroSAT-C数据集是为了解决视觉Transformer（ViT）在小数据集上的性能问题而创建的。这些数据集由德国曼海姆应用科学大学和凯撒斯劳滕-兰道大学的研究人员提出，旨在评估ViT在小型图像分类任务中的准确性和鲁棒性。这些数据集通过从现有的ImageNet数据集中迁移泛化和鲁棒性基准来创建，并引入了新的测试集变体，如Tiny ImageNetV2, -R, 和 -A，以及针对医疗和航空领域的MedMNIST-C和EuroSAT-C。这些数据集的创建对于推动ViT在小数据集上的应用具有重要意义，并为相关领域的研究提供了新的基准。

当前挑战

Tiny ImageNetV2, -R, -A, MedMNIST-C, EuroSAT-C数据集的研究背景和挑战主要涉及ViT在小数据集上的性能问题。ViT需要大量的数据才能达到良好的性能，这使得它们在小数据集上的应用变得困难。为了克服这一挑战，研究人员提出了GenFormer，一种利用生成图像进行数据增强的策略，以改善ViT在小规模图像分类任务中的准确性和鲁棒性。此外，构建这些数据集的过程中也面临一些挑战，如如何确保数据集的多样性和代表性，以及如何评估ViT在不同类型数据集上的泛化能力。

常用场景

经典使用场景

Tiny ImageNetV2, -R, -A, MedMNIST-C, EuroSAT-C数据集被广泛用于评估视觉Transformer（ViT）在小型数据集上的鲁棒性和泛化能力。这些数据集通过引入不同类型的图像损坏和领域偏移，模拟了现实世界中模型可能遇到的挑战。研究者们利用这些数据集来测试ViT在各种条件下的性能，并探索提高其鲁棒性的方法，如数据增强和知识蒸馏。

解决学术问题

这些数据集解决了小型数据集上ViT鲁棒性和泛化能力不足的问题。由于ViT缺乏归纳偏置，它们在小数据集上容易过拟合。通过使用生成的图像进行数据增强，GenFormer方法有效地解决了这一问题，提高了ViT在小数据集上的准确性和鲁棒性，缩小了ViT和CNN之间的差距。

衍生相关工作

这些数据集的引入促进了相关领域的研究，如视觉Transformer在小型数据集上的鲁棒性研究、数据增强技术的研究以及生成对抗网络（GAN）和扩散模型在图像生成中的应用研究。这些研究成果为ViT在小数据集上的应用提供了新的思路和方法。