FreD

FreD是一种新颖的数据集蒸馏参数化方法，利用频域从大型原始数据集中蒸馏出小型合成数据集。与专注于空间域的传统方法不同，FreD采用基于频率的变换来优化每个数据实例的频率表示。通过利用空间域信息在特定频率成分上的集中，FreD智能地选择了一组频率维度进行优化，从而显著减少了合成实例所需的预算。

FreD is a novel dataset distillation parameterization approach that distills small synthetic datasets from large-scale raw datasets by leveraging the frequency domain. Unlike traditional methods that focus on the spatial domain, FreD adopts frequency-based transformations to optimize the frequency representation of each data instance. By exploiting the concentration of spatial domain information on specific frequency components, FreD intelligently selects a set of frequency dimensions for optimization, thereby significantly reducing the budget required for generating synthetic instances.

原始信息汇总

Frequency Domain-based Dataset Distillation (FreD)

概述

FreD是一种新颖的数据集蒸馏参数化方法，利用频率域从大型原始数据集中蒸馏出小型合成数据集。与传统关注空间域的方法不同，FreD采用基于频率的变换来优化每个数据实例的频率表示。通过利用空间域信息在特定频率成分上的集中，FreD智能地选择频率维度的子集进行优化，从而显著减少合成实例所需的预算。基于解释方差的选择频率维度，FreD在有限的预算内高效运行，同时更好地保留原始数据集的信息，与传统参数化方法相比。此外，基于FreD与现有方法的正交兼容性，我们确认FreD在不同基准数据集的评估场景中一致地提高了现有蒸馏方法的性能。

要求

该代码在CUDA 11.4和Python 3.8环境下测试。

使用方法

FreD的主要超参数包括：

• msz_per_channel：每个通道的内存大小
• lr_freq：合成频率表示的学习率
• mom_freq：合成频率表示的动量

详细的超参数值可在论文中找到。其他超参数遵循每个数据集蒸馏目标的默认设置。请参考bash文件以获取运行实验的详细参数。

示例命令

FreD与梯度匹配（DC）

bash cd DC/scripts sh run_DC_FreD.sh

FreD与分布匹配（DM）

bash cd DM/scripts sh run_DM_FreD.sh

FreD与轨迹匹配（TM）

bash cd TM/scripts sh run_buffer.sh sh run_TM_FreD.sh

FreD与其他数据集蒸馏目标

python

定义频率域参数化

synset = SynSet(args)

初始化

synset.init(images_all, labels_all, indices_class)

获取部分合成数据集

images_syn, labels_syn = synset.get(indices=indices)

获取整个数据集（need_copy可选）

images_syn, labels_syn = synset.get(need_copy=True)

ImageNet-[A,B,C,D,E]

bash cd ImageNet-abcde/scripts sh run_XXX_FreD.sh

3D-MNIST

bash cd 3D-MNIST/scripts sh run_DM_FreD.sh

损坏鲁棒性

bash cd corruption-exp/scripts sh run.sh

实验结果

低维度数据集（≤ 64×64分辨率）与TM的测试准确率（%）

	MNIST	FashionMNIST	SVHN	CIFAR-10	CIFAR-100	Tiny-ImageNet
1 img/cls	95.8	84.6	82.2	60.6	34.6	19.2
10 img/cls	97.6	89.1	89.5	70.3	42.7	24.2
50 img/cls	-	-	90.3	75.8	47.8	26.4

Image-[Nette, Woof, Fruit, Yellow, Meow, Squawk]（128 × 128分辨率）与TM的测试准确率（%）

	ImageNette	ImageWoof	ImageFruit	ImageYellow	ImageMeow	ImageSquawk
1 img/cls	66.8	38.3	43.7	63.2	43.2	57.0
10 img/cls	72.0	41.3	47.0	69.2	48.6	67.3

ImageNet-[A, B, C, D, E]（128 × 128分辨率）与TM在1 img/cls下的测试准确率（%）

	ImageNet-A	ImageNet-B	ImageNet-C	ImageNet-D	ImageNet-E
DC w/ FreD	53.1	54.8	54.2	42.8	41.0
DM w/ FreD	58.0	58.6	55.6	46.3	45.0
TM w/ FreD	67.7	69.3	63.6	54.4	55.4

更多结果可在论文中找到。

搜集汇总

数据集介绍

构建方式

FreD 数据集蒸馏方法的核心在于将原始图像通过频率变换（如离散余弦变换）映射至频域，并在该域内进行优化。具体而言，该方法首先为每个类别计算频域维度的解释方差比，据此构建一个二值掩码，仅保留对信息贡献最大的前k个频率分量。随后，在频域内对合成数据实例进行优化，并通过可微的逆频率变换将其还原至空间域，从而生成紧凑且信息丰富的合成数据集。这种参数化方式允许在相同存储预算下容纳更多实例，因为每个实例仅需存储少数关键的频率系数。

特点

FreD 数据集最显著的特点在于其频域参数的紧凑性与高效性。利用自然图像能量在低频区域集中的特性，该方法通过解释方差比自适应地筛选关键频率维度，从而在极大压缩存储空间的同时，最大限度地保留了原始数据集的结构信息。与传统的空间域方法相比，FreD 展现出更强的抗干扰能力，尤其是在面对高频噪声或分布偏移时，其合成的数据能够更稳定地保持分类性能。此外，该参数化策略与多种现有的蒸馏损失函数正交兼容，可灵活集成至不同框架中。

使用方法

使用 FreD 进行数据集蒸馏时，首先需确定每个实例的频域维度预算 k，并基于原始数据集计算每个类别的解释方差比以生成二值掩码。随后，在频域中初始化合成频率表示，并利用选定的蒸馏损失（如轨迹匹配）进行优化。优化完成后，通过逆频率变换将掩码后的频率表示还原为空间域图像，即可获得最终的紧凑数据集。该数据集可直接用于训练下游分类网络，其存储格式仅需保留非零的频率系数及其索引，从而在保证性能的同时显著降低内存占用。

背景与挑战

背景概述

在大数据时代，海量数据的处理、分析与存储构成了严峻的挑战，数据集蒸馏（Dataset Distillation）作为一种新兴的解决方案应运而生，其核心目标是从大规模原始数据集中合成一个规模更小但能保留原始性能的紧凑数据集。FreD（Frequency Domain-based Dataset Distillation）由韩国科学技术院（KAIST）的Donghyeok Shin、Seungjae Shin与Il-Chul Moon于2023年提出，发表于NeurIPS 2023。该研究聚焦于一个关键问题：如何突破传统空间域蒸馏方法在内存效率和表示约束上的瓶颈。与直接优化像素空间变量的方法不同，FreD创新性地引入频域变换，利用信息在频域特定维度上的高度集中特性，通过选择性地优化少量频域分量，在极有限的预算下更高效地保留原始数据集的判别性信息，为数据集蒸馏领域开辟了全新的参数化范式。

当前挑战

FreD所面临的挑战涵盖领域问题与构建过程两个层面。在领域问题层面，传统空间域数据集蒸馏方法面临两大困境：一是难以区分每个像素维度的重要性，导致表示单个实例必须消耗与原始数据相同的预算，严重限制了可蒸馏实例的数量；二是空间域的信息分布均匀，无法像频域那样将能量集中在少数维度上，造成存储效率低下。在构建过程中，挑战则体现在如何设计一种既无需额外网络参数、又能精确筛选出信息量最大的频域维度的掩码策略，以在保持可微性与计算效率的同时，最大化地保留原始数据集的方差解释率。此外，如何在极端的预算约束下，平衡实例数量与单实例质量之间的权衡，以及如何确保该方法与多种现有蒸馏损失函数及网络架构正交兼容，亦构成了核心的技术难点。

常用场景

经典使用场景

在深度学习的浩瀚领域中，大数据时代带来的存储与计算压力催生了数据集蒸馏这一关键技术。FreD作为一种创新的参数化方法，其经典使用场景在于将大规模原始数据集在频域中高效压缩为小型合成数据集。通过离散余弦变换等频率变换，FreD将图像信息从空间域映射至频域，并依据解释方差比筛选出信息高度集中的少数频率维度进行优化。这一过程不仅显著降低了每个数据实例所需的存储预算，还使得在相同预算下能够合成更多实例，从而在保持原始数据集任务性能的同时，实现内存效率的极大提升。

解决学术问题

FreD针对传统空间域数据集蒸馏方法中内存效率低下与表示能力受限这一核心学术难题提供了革命性解决方案。传统方法在空间域中优化数据变量时，难以区分各像素维度的重要性，导致每个实例需占用与原始图像相同的存储空间，成为限制合成实例数量的瓶颈。FreD通过引入频域参数化，利用能量压缩特性将关键信息集中至少数维度，并基于解释方差比智能选择子集，在理论上证明了其能在有限预算内更优地保留原始数据集的分布信息。这一突破显著提升了蒸馏后数据集在下游任务中的性能，尤其在预算极度受限时表现卓越。

衍生相关工作

FreD的提出催生了一系列富有启发的衍生工作。其核心思想与HaBa、IDC等空间域参数化方法正交兼容，研究者已成功将FreD与HaBa结合，实现了性能的进一步提升，且效果优于IDC与HaBa的组合。此外，FreD与基于反向传播时间的优化框架（BPTT）协同工作时，亦展现出显著的性能增益。这些探索表明，频域参数化不仅自身高效，更能作为通用模块增强现有方法。未来，结合频域分析与生成模型、注意力机制等前沿技术，有望衍生出更加灵活强大的数据集蒸馏策略，推动整个领域向更高效、更鲁棒的方向演进。