动态渐进式稀疏神经网络算法框架库

该框架总结多种动态稀疏化策略的核心机制，提出通用且自适应的稀疏化方案Transkimmer，可在保证任务精度的前提下，对输入序列中冗余词元进行细粒度剪枝。系统采用梯度重参数化技术与联合优化目标，训练稀疏预测器以动态决定各层计算量，有效提升推理效率并适应多样化下游任务。实验显示，该方法在GLUE基准中实现近11倍加速，同时保持1%以内精度损失，适用于长序列建模、高吞吐推荐与多语言理解等应用场景。