大规模稀疏神经网络缓存系统

包含面向大规模稀疏神经网络的存储优化系统，旨在缓解稀疏模型训练中的访存瓶颈问题。系统分析并突破现有缓存策略在中等热度节点上的局限，提出基于节点特征变化趋势的历史特征缓存机制，在保证训练精度的前提下减少CPU-GPU间高频数据传输。该方法结合训练时的数值变化控制缓存误差，显著提升超大规模图计算效率，适用于多种高维稀疏图任务（如电商推荐、知识图谱）。

搜集汇总

背景与挑战

背景概述

该大规模稀疏神经网络缓存系统专注于缓解稀疏模型训练中的访存瓶颈，通过分析节点特征变化趋势设计历史特征缓存机制，在保证训练精度的前提下显著减少CPU-GPU间高频数据传输，从而提升超大规模图计算效率，可应用于电商推荐和知识图谱等高维稀疏图任务。