DeepSeek 大语言模型解释可靠性数据

本数据集旨在评估DeepSeek大语言模型在SQuAD（Stanford Question Answering Dataset）数据集上的句子生成任务中的解释可靠性。数据集的构建基于“与或交互”可解释性理论，通过计算模型输出中无法由显著交互解释的分量比例（即不可解释分量ρ），来量化解释的忠实度。我们选取了DeepSeek-R1-distill-Llama-8B模型，基于SQuAD数据集构造了句子生成测试样本，并从构造的数据集中随机选取了20个句子作为测试样本。每个样本以段落前30个单词作为输入，需要预测后续第一个具有实质含义且非停用词的目标词。为了确保结果的稳定性，我们进行了三组不同随机种子的独立实验。每个样本的数据均包含通过“与或交互”算法计算得到的“与”交互效用值、“或”交互效用值以及在2^n种遮挡情况下模型对目标词的生成置信度。通过本数据集，用户可以复现我们提出的解释可靠性指标（ρ<0.1视为通过测试），为可解释人工智能领域中大语言模型的解释方法比较与评估提供了标准化的基础数据资源。