mweiss/fashion_mnist_corrupted

---
annotations_creators:
- expert-generated
- machine-generated
language_creators:
- machine-generated
language:
- en
license:
- mit
multilinguality:
- monolingual
pretty_name: fashion-mnist-corrupted
size_categories:
- 10K<n<100K
source_datasets:
- extended|fashion_mnist
task_categories:
- image-classification
task_ids: []
---

# Fashion-Mnist-C (Corrupted Fashion-Mnist)

A corrupted Fashion-MNIST benchmark for testing out-of-distribution robustness of computer vision models, which were trained on Fashion-Mmnist.

[Fashion-Mnist](https://github.com/zalandoresearch/fashion-mnist) is a drop-in replacement for MNIST and Fashion-Mnist-C is a corresponding drop-in replacement for [MNIST-C](https://arxiv.org/abs/1906.02337).

## Corruptions
The following corruptions are applied to the images, equivalently to MNIST-C:

- **Noise** (shot noise and impulse noise)
- **Blur** (glass and motion blur)
- **Transformations** (shear, scale, rotate, brightness, contrast, saturate, inverse)

In addition, we apply various **image flippings and turnings**: For fashion images, flipping the image does not change its label,
and still keeps it a valid image. However, we noticed that in the nominal fmnist dataset, most images are identically oriented
(e.g. most shoes point to the left side). Thus, flipped images provide valid OOD inputs.

Most corruptions are applied at a randomly selected level of *severity*, s.t. some corrupted images are really hard to classify whereas for others the corruption, while present, is subtle.

## Examples

| Turned | Blurred | Rotated | Noise | Noise | Turned |
| ------------- | ------------- | --------| --------- | -------- | --------- |
| <img src="https://github.com/testingautomated-usi/fashion-mnist-c/raw/main/generated/png-examples/single_0.png" width="100" height="100"> | <img src="https://github.com/testingautomated-usi/fashion-mnist-c/raw/main/generated/png-examples/single_1.png" width="100" height="100"> | <img src="https://github.com/testingautomated-usi/fashion-mnist-c/raw/main/generated/png-examples/single_6.png" width="100" height="100"> | <img src="https://github.com/testingautomated-usi/fashion-mnist-c/raw/main/generated/png-examples/single_3.png" width="100" height="100"> | <img src="https://github.com/testingautomated-usi/fashion-mnist-c/raw/main/generated/png-examples/single_4.png" width="100" height="100"> | <img src="https://github.com/testingautomated-usi/fashion-mnist-c/raw/main/generated/png-examples/single_5.png" width="100" height="100"> |

## Citation
If you use this dataset, please cite the following paper:

```
@inproceedings{Weiss2022SimpleTechniques,
title={Simple Techniques Work Surprisingly Well for Neural Network Test Prioritization and Active Learning},
author={Weiss, Michael and Tonella, Paolo},
booktitle={Proceedings of the 31th ACM SIGSOFT International Symposium on Software Testing and Analysis},
year={2022}
}
```

Also, you may want to cite FMNIST and MNIST-C.

## Credits
- Fashion-Mnist-C is inspired by Googles MNIST-C and our repository is essentially a clone of theirs. See their [paper](https://arxiv.org/abs/1906.02337) and [repo](https://github.com/google-research/mnist-c).
- Find the nominal (i.e., non-corrupted) Fashion-MNIST dataset [here](https://github.com/zalandoresearch/fashion-mnist).

---
annotations_creators:
- 专家生成
- 机器生成
language_creators:
- 机器生成
language:
- 英语（en）
license:
- MIT（mit）
multilinguality:
- 单语言
pretty_name: fashion-mnist-corrupted
size_categories:
- 10000 < 样本量 < 100000
source_datasets:
- 扩展|Fashion-MNIST
task_categories:
- 图像分类（image-classification）
task_ids: []
---

# Fashion-MNIST-C（损坏版Fashion-MNIST）

本数据集为带损坏的Fashion-MNIST基准测试集，用于测试在Fashion-MNIST上训练的计算机视觉模型的分布外（out-of-distribution, OOD）鲁棒性。

[Fashion-MNIST](https://github.com/zalandoresearch/fashion-mnist) 是MNIST的即插即用替代数据集，而Fashion-MNIST-C则是MNIST-C（MNIST-C）的对应即插即用替代数据集。

## 损坏类型
我们对图像施加了以下损坏操作，与MNIST-C中的设置保持一致：

- **噪声**（散粒噪声与脉冲噪声）
- **模糊**（玻璃模糊与运动模糊）
- **变换**（剪切、缩放、旋转、亮度调整、对比度调整、饱和度调整与色彩反转）

此外，我们还施加了多种**图像翻转与旋转变换**：对于时尚类图像而言，翻转操作不会改变其标签，且仍能生成合法的图像。但我们观察到，在原始Fashion-MNIST数据集中，绝大多数图像的朝向一致（例如多数鞋类图像的鞋头朝向左侧）。因此，翻转后的图像可作为有效的分布外输入样本。

多数损坏操作会随机选取**严重程度**参数，因此部分损坏后的图像极难分类，而另一些图像的损坏痕迹则较为隐蔽。

## 示例

| 翻转图像 | 模糊图像 | 旋转图像 | 噪声图像 | 噪声图像 | 翻转图像 |
| ------------- | ------------- | -------- | --------- | -------- | --------- |
| <img src="https://github.com/testingautomated-usi/fashion-mnist-c/raw/main/generated/png-examples/single_0.png" width="100" height="100"> | <img src="https://github.com/testingautomated-usi/fashion-mnist-c/raw/main/generated/png-examples/single_1.png" width="100" height="100"> | <img src="https://github.com/testingautomated-usi/fashion-mnist-c/raw/main/generated/png-examples/single_6.png" width="100" height="100"> | <img src="https://github.com/testingautomated-usi/fashion-mnist-c/raw/main/generated/png-examples/single_3.png" width="100" height="100"> | <img src="https://github.com/testingautomated-usi/fashion-mnist-c/raw/main/generated/png-examples/single_4.png" width="100" height="100"> | <img src="https://github.com/testingautomated-usi/fashion-mnist-c/raw/main/generated/png-examples/single_5.png" width="100" height="100"> |

## 引用
若您使用本数据集，请引用以下论文：

@inproceedings{Weiss2022SimpleTechniques,
title={Simple Techniques Work Surprisingly Well for Neural Network Test Prioritization and Active Learning},
author={Weiss, Michael and Tonella, Paolo},
booktitle={Proceedings of the 31th ACM SIGSOFT International Symposium on Software Testing and Analysis},
year={2022}
}

此外，您也可引用FMNIST与MNIST-C相关文献。

## 致谢
- Fashion-MNIST-C的设计灵感源自谷歌的MNIST-C，本仓库本质上是其代码的复刻。您可参考其[论文](https://arxiv.org/abs/1906.02337)与[仓库](https://github.com/google-research/mnist-c)。
- 原始未损坏的Fashion-MNIST数据集可于[此处](https://github.com/zalandoresearch/fashion-mnist)获取。

原始信息汇总

Fashion-Mnist-C (Corrupted Fashion-Mnist)

概述

Fashion-Mnist-C 是一个用于测试计算机视觉模型在 Fashion-MNIST 数据集上训练后的分布外鲁棒性的基准数据集。它是 MNIST-C 的对应替代品。

数据集详情

• 标注创建者: 专家生成和机器生成
• 语言创建者: 机器生成
• 语言: 英语
• 许可证: MIT
• 多语言性: 单语种
• 数据集大小: 10K<n<100K
• 源数据集: 扩展自 Fashion-MNIST
• 任务类别: 图像分类

数据集特点

• 数据集名称: fashion-mnist-corrupted
• 数据集别名: Fashion-Mnist-C

数据集应用

• 测试目标: 测试计算机视觉模型在 Fashion-MNIST 数据集上训练后的分布外鲁棒性。

数据集修改

• 数据集修改: 对图像应用以下修改以生成分布外数据：
  • 噪声: 包括 shot noise 和 impulse noise
  • 模糊: 包括 glass blur 和 motion blur
  • 变换: 包括 shear, scale, rotate, brightness, contrast, saturate, inverse
  • 图像翻转和旋转: 对时尚图像进行翻转和旋转，以提供有效的分布外输入。

数据集示例

• 示例图像: 展示了经过不同修改（如旋转、模糊、噪声等）的图像示例。

引用

• 引用文献:

  @inproceedings{Weiss2022SimpleTechniques, title={Simple Techniques Work Surprisingly Well for Neural Network Test Prioritization and Active Learning}, author={Weiss, Michael and Tonella, Paolo}, booktitle={Proceedings of the 31th ACM SIGSOFT International Symposium on Software Testing and Analysis}, year={2022} }

致谢

• 灵感来源: 受 Google 的 MNIST-C 启发。
• 原始数据集: 非损坏的 Fashion-MNIST 数据集。

搜集汇总

数据集介绍

构建方式

在计算机视觉领域，评估模型对分布外数据的鲁棒性至关重要。Fashion-Mnist-C数据集基于经典的Fashion-MNIST数据集构建，通过系统性地引入多种图像扰动来模拟现实世界中的噪声和变形。具体而言，该数据集应用了噪声（如散粒噪声和脉冲噪声）、模糊（包括玻璃模糊和运动模糊）以及几何变换（如剪切、缩放、旋转）等多种腐蚀方法。此外，考虑到原始数据集中图像方向的一致性，还加入了翻转和转向操作，这些操作不改变标签但提供了有效的分布外样本。每种腐蚀均以随机选择的严重程度应用，从而生成从轻微到显著的一系列腐蚀图像，确保了数据集的多样性和挑战性。

使用方法

使用该数据集时，研究人员可将其作为评估图像分类模型鲁棒性的标准工具。数据集可直接加载并与原始Fashion-MNIST数据集结合使用，通过对比模型在干净数据和腐蚀数据上的性能差异，来量化模型对分布外扰动的敏感性。在实际应用中，建议将数据集划分为训练和测试子集，或直接用于测试已训练好的模型，以分析其在各种腐蚀条件下的准确率和稳定性。此外，该数据集支持与MNIST-C类似的实验流程，便于进行跨数据集的比较研究。使用时应引用相关论文，并考虑结合其他基准数据集以获取更全面的评估结果。

背景与挑战

背景概述

在计算机视觉领域，模型在分布外数据上的鲁棒性评估一直是研究的关键议题。Fashion-MNIST-C数据集由Michael Weiss与Paolo Tonella于2022年构建，作为Fashion-MNIST的扩展版本，旨在系统性地测试图像分类模型在面临多种图像损坏时的泛化能力。该数据集借鉴了MNIST-C的设计理念，通过引入噪声、模糊、几何变换等多样化损坏模式，为研究社区提供了一个标准化的基准，推动了对抗性环境下的模型稳健性研究。

当前挑战

该数据集致力于解决图像分类模型在现实世界中遭遇损坏图像时的鲁棒性挑战，这些损坏包括噪声干扰、运动模糊以及几何形变等复杂因素。在构建过程中，挑战在于如何平衡损坏的多样性与严重性，确保生成的图像既涵盖广泛的损坏类型，又能在不同严重程度上保持分类任务的可行性。此外，针对时尚图像特有的方向一致性，如多数鞋类图像偏向左侧，数据生成需通过翻转等操作创造有效的分布外样本，同时维持标签的语义不变性，这增加了数据合成的复杂性。

常用场景

经典使用场景

在计算机视觉领域，模型鲁棒性评估是确保算法可靠性的关键环节。Fashion-Mnist-C数据集通过引入噪声、模糊、几何变换等多种图像扰动，为研究者提供了一个标准化的基准测试平台。该数据集最经典的使用场景在于系统性地评估图像分类模型在分布外数据上的泛化能力，尤其是在时尚物品识别任务中，模型面对现实世界常见图像退化时的表现。通过对比模型在原始Fashion-MNIST与Fashion-Mnist-C上的性能差异，研究者能够深入分析模型对各类图像失真的敏感程度，从而揭示其内在的鲁棒性缺陷。

解决学术问题

该数据集有效解决了机器学习中模型鲁棒性研究的若干核心问题。传统评估往往局限于理想化的测试数据，难以反映模型在复杂现实环境中的真实性能。Fashion-Mnist-C通过模拟多种图像退化场景，为量化模型对噪声、模糊、旋转等常见干扰的抵抗能力提供了精确度量。这有助于学术界深入探究神经网络在面对分布偏移时的失效模式，推动鲁棒性理论的发展。同时，它为模型测试优先级排序和主动学习等前沿方法提供了验证基础，促进了软件工程与机器学习的交叉研究。

实际应用

在实际应用层面，Fashion-Mnist-C数据集为工业界开发可靠的视觉系统提供了重要参考。在自动驾驶、安防监控、电子商务图像识别等场景中，系统常需处理光照变化、运动模糊或传感器噪声导致的图像质量下降。利用该数据集进行预训练或压力测试，能够帮助工程师识别模型弱点，并设计相应的数据增强或纠错机制。例如，在时尚电商平台，通过模拟衣物图像的旋转或翻转，可以确保分类模型在不同商品展示角度下保持稳定输出，从而提升用户体验和系统可靠性。

数据集最近研究

最新研究方向

在计算机视觉领域，随着模型在标准数据集上性能趋于饱和，分布外鲁棒性评估成为前沿热点。Fashion-MNIST-C作为Fashion-MNIST的腐蚀版本，通过引入噪声、模糊、几何变换等多种扰动，模拟真实世界中的图像退化场景，为研究模型在非理想条件下的泛化能力提供了关键基准。该数据集推动了对抗性鲁棒性、域自适应及测试时适应等方向的发展，尤其在轻量级模型和边缘计算应用中，其对于评估模型在资源受限环境下的稳定性具有重要意义。相关研究正探索利用合成腐蚀数据增强模型韧性，以应对自动驾驶、工业质检等实际任务中复杂多变的视觉挑战。