AddNIST, Language, MultNIST, CIFARTile, Gutenberg, Isabella
收藏github2024-05-08 更新2024-05-31 收录
下载链接：
https://github.com/Towers-D/NAS-Unseen-Datasets
下载链接
链接失效反馈官方服务：
资源简介：
AddNIST是由三个MNIST图像组合而成，标签是三个子图像之和减一，共有20个类别。Language数据集使用ASPELL字典从多种语言中收集单词，生成24x24图像。MultNIST与AddNIST类似，但标签是通过乘法和模10操作生成，有10个可能的标签。CIFARTile由四个CIFAR-10图像组成，标签表示子图像中不同CIFAR-10标签的数量。Gutenberg数据集使用Project Gutenberg的公共域文本中的三个单词进行编码。Isabella数据集通过创建五秒音频的频谱图生成。
AddNIST is composed of three MNIST images combined, with the label being the sum of the three sub-images minus one, totaling 20 categories. The Language dataset collects words from multiple languages using the ASPELL dictionary, generating 24x24 images. MultNIST is similar to AddNIST, but the labels are generated through multiplication and modulo 10 operations, resulting in 10 possible labels. CIFARTile consists of four CIFAR-10 images, with the label indicating the number of different CIFAR-10 labels among the sub-images. The Gutenberg dataset encodes three words from the public domain texts of Project Gutenberg. The Isabella dataset is generated by creating spectrograms of five-second audio clips.
创建时间：
2024-03-18
原始信息汇总
数据集概述
1. AddNIST
- 描述: 由三个MNIST图像组合生成，标签为三个子图像之和减一，范围0-19，共20个类别。
- 链接: AddNIST_Dataset
2. Language
- 描述: 使用ASPELL字典收集十种语言的单词，每个单词随机选择并编码为24x24图像。
- 链接: Language_Dataset
3. MultNIST
- 描述: 类似于AddNIST，但标签通过乘法和模10操作生成，共10个类别。
- 链接: MultNIST_Dataset
4. CIFARTile
- 描述: 由四个CIFAR-10图像组成，标签表示子图像中不同类别的数量，共4个类别。
- 链接: CIFARTile_Dataset
5. Gutenberg
- 描述: 使用Project Gutenberg的公共域文本，选择三个单词编码为图像。
- 链接: Gutenberg_Dataset
6. Isabella
- 描述: 使用Isabella Stewart Gardner Museum的音乐片段生成频谱图，根据音乐类型分类。
- 链接: 代码即将发布
7. GeoClassing
- 描述: 使用BigEarthNet数据集，根据欧洲国家对卫星图像进行分类。
- 链接: GeoClassing_Dataset
8. Chesseract
- 描述: 将国际象棋游戏状态表示为图像，使用三维数组编码棋子类型和颜色。
- 链接: Chesseract_Dataset
基准结果
CNN结果
| Dataset | ResNet-18 | AlexNet | VGG16 | ConvNext | MNASNet | DenseNet | ResNeXt |
|---|---|---|---|---|---|---|---|
| AddNIST | 92.08% | 94.87% | 92.06% | 38.06% | 90.51% | 93.52% | 91.42% |
| Language | 97.00% | 85.71% | 84.54% | 83.40% | 84.63% | 84.57% | 93.97% |
| MultNIST | 91.55% | 94.01% | 90.43% | 64.20% | 87.70% | 92.81% | 90.57% |
| CIFARTile | 45.56% | 48.88% | 24.43% | 31.06% | 48.49% | 51.28% | 46.23% |
| Gutenberg | 49.98% | 45.53% | 44.00% | 31.93% | 38.00% | 43.28% | 40.30% |
| Isabella | 62.02% | 61.37% | 58.13% | 57.18% | 60.69% | 63.27% | 60.46% |
| GeoClassing | 80.33% | 92.49% | 93.67% | 72.76% | 86.00% | 94.21% | 89.99% |
| Chesseract | 57.83% | 57.45% | 55.69% | 52.74% | 56.26% | 59.60% | 55.15% |
NAS结果
| Dataset | PC-DARTS | DrNAS | Bonsai-Net | Random DARTS | Random Bonsai |
|---|---|---|---|---|---|
| AddNIST | 96.60% | 97.06% | 97.91% | 97.07% | 34.17% |
| Language | 90.12% | 88.55% | 87.65% | 90.12% | 76.83% |
| MultNIST | 96.68% | 98.10% | 97.17% | 96.55% | 39.76% |
| CIFARTile | 92.28% | 81.08% | 91.47% | 90.74% | 24.76% |
| Gutenberg | 49.12% | 46.62% | 48.57% | 47.72% | 29.00% |
| Isabella | 65.77% | 64.53% | 64.08% | 66.35% | 58.53% |
| GeoClassing | 94.61% | 96.03% | 95.66% | 95.54% | 63.56% |
| Chesseract | 57.20% | 58.24% | 60.76% | 59.16% | 68.83% |
竞赛结果
| Ranking | GeoClassing | Isabella | Chesseract |
|---|---|---|---|
| Rank 1 | 92.37% | 59.97% | 58.20% |
| Rank 2 | 89.62% | 60.14% | 58.10% |
| Rank 3 | 93.34% | 46.87% | 59.31% |
| Rank 4 | 90.69% | 44.93% | 58.74% |
| Rank 5 | 87.81% | 43.92% | 63.05% |
| Dataset | Best Score |
|---|---|
| AddNIST | 95.06% |
| Language | 89.71% |
| MultNIST | 95.45% |
| CIFARTile | 73.08% |
| Gutenberg | 50.85% |
| Isabella | 61.42% |
| GeoClassing | 96.08% |
| Chesseract | 62.98% |
搜集汇总
数据集介绍
构建方式
AddNIST数据集通过将三个MNIST图像组合生成，每个图像的标签为三个子图像标签之和减一，从而形成0至19之间的20个类别。这种构建方式巧妙地结合了经典的MNIST数据集，通过简单的算术运算生成了新的分类任务，为神经架构搜索提供了独特的挑战。
特点
AddNIST数据集的特点在于其标签生成方式的简洁性与创新性，通过简单的加法和减法操作，将多个MNIST图像整合为一个新图像，并赋予其新的标签。这种设计不仅保留了MNIST数据集的原始特性，还引入了新的分类维度，使得模型需要同时处理多个输入图像并进行复杂的标签推断。
使用方法
使用AddNIST数据集时，用户可以将其作为训练数据集，用于评估和优化神经网络模型在处理多图像输入时的性能。通过对比不同模型的分类准确率，可以有效评估模型在处理复杂标签生成任务时的表现。此外，该数据集也可用于验证模型在处理多输入任务时的鲁棒性和泛化能力。
背景与挑战
背景概述
AddNIST数据集是由纽卡斯尔大学（Newcastle University）的研究团队在2021年至2023年期间为神经架构搜索（NAS）领域的未见数据挑战赛而生成的。该数据集通过将三个MNIST图像组合，并根据子图像的和减一作为标签，形成了一个包含20个类别的分类任务。AddNIST的创建旨在测试神经网络在处理复杂组合任务时的性能，尤其是在未见过的数据分布上的泛化能力。该数据集的发布对NAS领域的研究具有重要意义，尤其是在评估模型在新颖数据上的表现方面。
当前挑战
AddNIST数据集的主要挑战在于其标签生成方式的复杂性，即通过组合多个MNIST图像并进行算术运算生成标签，这要求模型不仅能够识别单个数字，还需理解数字之间的组合关系。此外，数据集的标签范围限制在0到19之间，增加了分类任务的难度。在构建过程中，研究人员面临的挑战包括如何确保标签生成的随机性和多样性，以及如何平衡数据集的类别分布，以避免模型在特定类别上的过拟合。这些挑战使得AddNIST成为评估神经网络在复杂组合任务上性能的理想数据集。
常用场景
经典使用场景
AddNIST数据集通过将三个MNIST图像组合生成，标签为三个子图像数字之和减一，范围在0到19之间。这一设计使其成为评估模型在多数字识别任务中表现的有效工具。经典使用场景包括在神经架构搜索（NAS）挑战中，用于测试模型在处理复杂数字组合时的性能，尤其是在多任务学习和深度学习模型优化中。
衍生相关工作
AddNIST数据集的提出激发了一系列相关研究，特别是在多任务学习和神经架构搜索领域。例如，研究者们基于AddNIST设计了更复杂的组合任务，以测试模型的泛化能力。此外，该数据集还被用于开发新的神经网络架构，旨在提高在处理多输入和复杂计算任务时的效率和准确性。这些工作不仅扩展了AddNIST的应用范围，还为深度学习领域提供了新的研究方向。
数据集最近研究
最新研究方向
在神经架构搜索（NAS）领域，AddNIST、Language、MultNIST等数据集的最新研究方向主要集中在探索如何利用这些新颖的数据集来提升NAS算法的泛化能力和鲁棒性。这些数据集通过引入多样的图像合成方式和复杂的标签生成机制，挑战了传统NAS模型在处理未见数据时的表现。研究者们正致力于开发能够有效适应这些复杂数据集的神经网络架构，以期在CVPR等顶级会议上展示其在前沿NAS技术中的应用潜力。此外，这些数据集的基准测试结果也为未来的研究提供了宝贵的参考，推动了NAS领域在处理多样化数据方面的进一步发展。
以上内容由遇见数据集搜集并总结生成
