Soft-Label Dataset Distillation and Text Dataset Distillation
收藏资源简介：
该数据集通过合成图像和文本，将大量数据的知识浓缩成少数几个蒸馏图像或句子，用于训练深度学习模型。在MNIST和CIFAR10等数据集上，使用少数蒸馏图像即可达到接近完整训练集的性能。在IMDB数据集上，使用少数蒸馏句子也能达到接近完整训练集的性能。
This dataset synthesizes images and text, condensing the knowledge from a vast amount of data into a few distilled images or sentences, which are used to train deep learning models. On datasets such as MNIST and CIFAR10, using a small number of distilled images can achieve performance close to that of the full training set. Similarly, on the IMDB dataset, using a few distilled sentences can also achieve performance close to that of the full training set.
数据集概述
数据集名称
- Soft-Label Dataset Distillation and Text Dataset Distillation
数据集描述
- 该数据集是对原始Dataset Distillation的扩展，增加了软标签数据集蒸馏和文本数据集蒸馏功能。
数据集应用
- 在MNIST上，10个软标签蒸馏图像可以训练一个标准LeNet达到96%的测试准确率。
- 在CIFAR10上，100个软标签蒸馏图像可以训练一个深度网络达到60%的测试准确率。
- 在MNIST上，仅5个软标签蒸馏图像可以训练一个标准LeNet达到92%的测试准确率。
- 在IMDB上，20个蒸馏句子可以训练一个神经网络达到80%的测试准确率。
数据集创新点
- 引入软标签蒸馏，允许使用少于类别数量的点进行分类。
- 引入文本数据集蒸馏，扩展了可蒸馏数据集的范围。
数据集作者
- Ilia Sucholutsky, Matthias Schonlau
数据集依赖环境
- Python 3
- PyTorch >= 1.0.0
- torchvision >= 0.2.1
- numpy
- matplotlib
- pyyaml
- tqdm
- torchtext
数据集使用方法
- 通过命令行使用提供的脚本进行数据集蒸馏，支持不同的数据集和网络架构。
- 提供了基本的蒸馏设置和高级使用方法的文档。
数据集引用
-
引用格式：
@article{sucholutsky2019softlabel, title={Soft-Label Dataset Distillation and Text Dataset Distillation}, author={Ilia Sucholutsky and Matthias Schonlau}, journal={arXiv preprint arXiv:1910.02551}, year={2019} }
