Awesome-Dataset-Reduction

这是一个关于数据集缩减（包括数据集蒸馏和数据集剪枝）的精选论文列表，收集了最新的研究论文，旨在提供一个资源平台，涵盖不同方法、数据域、缩减标准和机制，并计划发布相关综述。This is a curated list of research papers focused on dataset reduction, including dataset distillation and dataset pruning. It compiles the latest scholarly works, aiming to serve as a dedicated resource platform covering diverse methodologies, data domains, reduction criteria and underlying mechanisms, and plans to publish a relevant comprehensive review.

原始信息汇总

数据集概述

该资源是一个持续更新的论文合集，专注于数据集缩减领域，涵盖两大核心研究方向：数据集蒸馏和数据集剪枝。

核心内容

• 研究范畴：收集关于不同数据集缩减方法的最新研究，包括数据集蒸馏与数据集剪枝。
• 文献数量：已收录论文超过 200 篇。
• 附加计划：维护者将基于这些优秀工作发布一份相关的综述。

关键信息

• 维护状态：持续维护中。
• 合作方式：欢迎贡献者直接联系维护者以参与贡献。

数据领域与方法标注

该合集对论文进行了多维度的关键词标注，便于检索：

• 方法缩写
• 数据域
• 缩减标准
• 缩减机制

搜集汇总

数据集介绍

构建方式

在深度学习蓬勃发展的当下，数据规模呈指数级增长，如何在不显著牺牲模型性能的前提下精简数据集，已成为机器学习领域的关键议题。Awesome-Dataset-Reduction 数据集应运而生，它并非一个传统意义上的标注数据集，而是一个系统性整合了数据集精简领域前沿研究的开放平台。该平台通过精心筛选与组织，收录了涵盖数据集蒸馏与数据集剪枝（核心集选择）两大主流方向的两百余篇学术论文。构建过程中，研究团队不仅对每篇论文进行了细致的分类与标注，还提炼了其方法缩写、数据领域、缩减标准与缩减机制等核心关键词，从而为研究者呈现出一幅清晰且结构化的领域全景图。

使用方法

使用该数据集资源极为便捷。用户可直接访问其在 GitHub 上的开源仓库，通过浏览论文列表或利用关键词筛选功能，快速获取感兴趣的研究方向。例如，若需查找基于特定数据领域的缩减方法，可借助 Data Domain 标签进行精准检索；若关注某种缩减机制，则可通过 Reduction Mechanism 进行筛选。对于希望深入探索的学者，该平台还提供了每篇论文的引用信息与链接，便于直接阅读原文。此外，用户亦可参与贡献，通过联系维护者提交新近发表的相关论文，共同促进该知识库的完善与更新。

背景与挑战

背景概述

在深度学习领域，大规模数据集的规模与模型训练效率之间的矛盾日益凸显，数据集缩减技术应运而生，旨在通过数据蒸馏或核心集选择等方法，在保持模型性能的前提下显著降低数据冗余。Awesome-Dataset-Reduction 项目由 gszfwsb 等人于2025年1月发起，作为一个系统性的文献索引平台，专注于收集和整理数据集缩减领域的最新研究成果，涵盖数据蒸馏与数据集剪枝两大方向。该仓库收录了200余篇相关论文，并计划发布基于这些工作的综述报告，为研究者提供全面的技术脉络与进展图谱。其核心研究问题在于如何设计高效的数据缩减机制，以应对大规模训练带来的计算与存储挑战，对推动高效机器学习、可持续人工智能以及低资源场景下的模型部署具有重要影响力。

当前挑战

数据集缩减面临的核心挑战包括：一是领域问题层面，如何在缩减过程中最大程度保留原始数据集的分布特征与信息量，避免因数据丢失导致模型泛化能力下降，尤其在高压缩比场景下平衡性能与效率；二是构建过程层面，现有方法缺乏统一的评估基准与标准化协议，不同缩减机制（如基于梯度匹配、轨迹匹配或核心集选择）在跨领域、跨任务中的迁移性尚不明确。此外，缩减后的数据集能否支持持续学习、增量更新等动态需求，以及如何应对多模态数据（如图像、文本、图结构）的异构性，均是当前亟待突破的技术瓶颈。

常用场景

经典使用场景

在深度学习领域，大规模数据集的训练往往伴随着高昂的计算成本与存储开销。Awesome-Dataset-Reduction 数据集聚焦于数据集缩减技术，其经典使用场景在于通过数据集蒸馏（Dataset Distillation）与核心集选择（Coreset Selection）等策略，从原始庞大数据集中提炼出信息密度极高的小规模子集。这些精简后的数据能够保留原始分布的关键特征，使得在其上训练的模型性能接近甚至媲美全量数据训练的结果，从而为资源受限环境下的高效模型训练提供了可行的解决方案。

解决学术问题

该数据集系统性地回应了学术研究中长期存在的“数据冗余与计算效率”矛盾。传统研究往往依赖于全量数据训练以追求模型精度，但忽略了数据中大量存在的冗余样本对计算资源的浪费。Awesome-Dataset-Reduction 通过整合蒸馏与剪枝方法，解决了如何在保持模型泛化能力的前提下大幅压缩数据规模的核心问题。其意义在于开创了数据效率学习的新范式，为小样本学习、持续学习及隐私保护学习等前沿方向奠定了方法论基础，显著推动了绿色人工智能与可持续机器学习的发展。

实际应用

在实际工业场景中，该数据集衍生出的缩减方法被广泛应用于边缘设备部署与联邦学习系统。例如，在智能手机或物联网终端上，通过核心集选择技术，可将海量传感器数据压缩至千分之一规模，仍能维持高精度的人脸识别或语音唤醒功能。同时，在联邦学习的通信瓶颈优化中，数据集蒸馏生成的合成样本大幅减少了客户端与服务器间的传输数据量，既降低了带宽消耗，又通过避免原始数据交换增强了隐私保护，展现了在成本敏感型应用中的巨大潜力。

数据集最近研究

最新研究方向

在深度学习模型规模日益膨胀的背景下，数据集缩减（Dataset Reduction）作为提升训练效率与数据管理效能的关键技术，正受到学术界与工业界的广泛关注。该领域的最新研究聚焦于两大核心方向：数据集蒸馏（Dataset Distillation）与数据集剪枝（Coreset Selection）。前者通过合成少量高信息密度的代表性样本，力求在极小数据量下复现原始完整数据集上的模型性能；后者则致力于从海量数据中精准筛选出最具价值的子集，以降低存储与计算开销。近期，随着大模型与多模态学习的兴起，如何将缩减技术适配至复杂数据分布（如图像、文本、图结构）并保持泛化能力，成为前沿热点。此外，该方向与隐私保护、联邦学习等议题的交叉融合，也催生了诸如差分隐私下的安全蒸馏等创新范式，为构建高效、绿色且合规的人工智能系统提供了重要支撑。