动态渐进式稀疏神经网络算法框架库

该框架总结多种动态稀疏化策略的核心机制，提出通用且自适应的稀疏化方案Transkimmer，可在保证任务精度的前提下，对输入序列中冗余词元进行细粒度剪枝。系统采用梯度重参数化技术与联合优化目标，训练稀疏预测器以动态决定各层计算量，有效提升推理效率并适应多样化下游任务。实验显示，该方法在GLUE基准中实现近11倍加速，同时保持1%以内精度损失，适用于长序列建模、高吞吐推荐与多语言理解等应用场景。

搜集汇总

背景与挑战

背景概述

该数据集提供一个动态渐进式稀疏神经网络算法框架库，其核心是通用自适应稀疏化方案Transkimmer，能够对输入序列中的冗余词元进行细粒度剪枝，并通过梯度重参数化与联合优化训练稀疏预测器动态调整各层计算量。实验表明，该方法在GLUE基准测试中实现近11倍推理加速，同时保持精度损失在1%以内，适用于长序列建模、高吞吐推荐与多语言理解等场景。