CIFAR-10 Models

本论文中，我们采用了一种新颖的方法来解决数据集蒸馏问题：我们将最小化在真实数据分布上模型的预测差异，这些模型分别在大型的原始数据集和小型的蒸馏数据集上训练，视为将原始数据中的信息浓缩到蒸馏版本的一种手段。我们提出了一种对抗性框架来高效地解决这个问题。