unknown-detection-benchmarks

用于严格检验深度神经网络在广泛未知样本上的检测能力的统一基准数据集。

A unified benchmark dataset for rigorously evaluating the detection capability of deep neural networks (DNNs) on a wide range of unseen samples.

原始信息汇总

数据集概述

统一基准数据集

我们简要解释了统一基准数据集，并提供了下载链接。基准数据集的构建考虑了数据规模。为了进行未知检测，每个基准数据集包括根据语义距离从分布内到分布外的近和远样本。此外，还有一个外部数据集，用于超参数调优或某些方法的训练（如果它们需要辅助数据集）。

数据集目录结构

统一基准数据集的目录结构如下：

例如 CIFAR 基准

cifar-bench ├── /train/ │ ├──cifar40 │ └──new-tinyimagenet158 ├── /valid/ │ ├──cifar40 │ └──new-tinyimagenet158 └── /test/ ├──cifar40 ├──cifar60 ├──describable-textures ├──lsun-fix ├──new-tinyimagenet158 └──svhn

CIFAR 基准

CIFAR 基准基于 CIFAR-100，这是一个相对较小规模的数据集，具有低分辨率图像。CIFAR-100 被分为两部分，形成分布内和近分布外数据集。与 CIFAR-100 规模相似的数据集，如 SVHN、LSUN-FIX 和 Describable Texture Dataset，在经过特定过滤过程后构成远分布外数据集。Tiny ImageNet158-New 是 CIFAR 基准中的外部数据集。

下载 CIFAR 基准

数据集	训练	验证	测试
CIFAR-40	18,000	2,000	4,000
Tiny ImageNet158-New	79,000	2,000	-
CIFAR-60	-	-	4,000
SVHN	-	-	4,000
LSUN-FIX	-	-	4,000
Describable Texture Dataset	-	-	5,640
Gaussian Noise	-	-	10,000

ImageNet 基准

ImageNet 基准基于 ImageNet 数据集，这是一个流行的具有高分辨率图像的大规模数据集。ImageNet 数据集被分为三部分，形成分布内、近分布外数据集和外部数据集。与 ImageNet 规模相似的数据集，如 Food-101、Caltech-256 和 Places-365，在经过特定过滤过程后构成远分布外数据集。

下载 ImageNet 基准

数据集	训练	验证	测试
ImageNet-200	250,000	100,000	10,000
External ImageNet-394	485,700	197,000	-
Near ImageNet-200	-	-	10,000
Food-32	-	-	10,000
Caltech-45	-	-	4,792
Places-82	-	-	10,000