RECALL

RECALL数据集由北京大学计算机科学学院多媒体信息处理国家重点实验室创建，旨在评估大型语言模型对反事实外部知识的鲁棒性。该数据集包含超过47000个样本，通过引入反事实信息到现有知识库中构建，用于测试模型在面对不准确或误导性信息时的表现。数据集涵盖两个任务：问答和文本生成，每个任务都设计了包含反事实信息的上下文，以评估模型在复杂信息环境下的准确性和可靠性。RECALL数据集的应用领域主要集中在提高语言模型在实际应用中的鲁棒性和准确性，特别是在需要处理大量外部信息和知识的场景中。

The RECALL dataset was developed by the State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University, with the goal of evaluating the robustness of large language models (LLMs) against counterfactual external knowledge. This dataset includes over 47,000 samples, which are constructed by introducing counterfactual information into existing knowledge bases, to test the model's performance when confronted with inaccurate or misleading information. The dataset covers two tasks: question answering and text generation. For each task, contexts containing counterfactual information are designed to assess the model's accuracy and reliability in complex information environments. The application scenarios of the RECALL dataset mainly focus on enhancing the robustness and accuracy of language models in real-world applications, particularly in scenarios that require processing large volumes of external information and knowledge.

搜集汇总

数据集介绍

构建方式

RECALL基准数据集基于现有知识库构建，涵盖常识知识与科学知识两大领域。对于常识知识，从EventKG数据集中提取历史事件的结构化信息，通过ChatGPT将其转化为自然语言段落，并生成问答对；随后利用ChatGPT对答案文本或非答案文本进行编辑，注入反事实信息。对于科学知识，从UJ数据集中选取计算机科学、数学和物理领域的术语，将描述句子压缩为无重叠信息的段落，再生成问答对，并通过词级或句级编辑添加反事实错误。最终形成超过47,000个样本，涵盖问答与文本生成两项任务。

特点

该数据集的核心特点在于系统性地评估大语言模型对外部反事实知识的鲁棒性。问答任务细分为答案文本被修改（QA-A）和非答案文本被修改（QA-NA）两个子任务，以区分反事实信息对模型的不同影响。文本生成任务则通过结构化数据或段落生成定义，检测模型是否会在输出中复现反事实错误。评价指标除传统准确率、BLEU和ROUGE-L外，创新性地引入误导率（M-Rate）和错误复现率（R-Rate），分别衡量模型被反事实信息误导的程度及其在生成内容中保留错误的比例。

使用方法

使用RECALL数据集时，研究者可为模型提供三种上下文：原始正确上下文、编辑后含反事实信息的上下文、以及无上下文。在问答任务中，模型需从两个选项中选择正确答案；在文本生成任务中，模型需根据结构化数据或段落生成自然语言描述。评价聚焦两方面：一是模型在反事实干扰下能否保持回答质量，二是模型能否抵御反事实信息的误导。实验表明，现有大语言模型在面对反事实上下文时极易被误导，而简单干预方法（如提示词调整或推理干预）效果有限，凸显该问题的挑战性与进一步研究的必要性。

背景与挑战

背景概述

大语言模型在众多领域展现出卓越能力，但其在生成事实性内容时仍存在幻觉问题，即产生看似合理却违背事实的输出。外部知识的引入虽能缓解模型知识边界受限的困境，然而互联网等来源的信息常包含反事实内容，可能误导模型产生错误响应。为系统评估大语言模型抵御外部反事实知识干扰的鲁棒性，北京大学联合腾讯微信AI于2023年构建了RECALL基准数据集。该研究聚焦于模型在问答与文本生成任务中，面对包含反事实信息的上下文时，能否保持正确判断并生成可信答案。RECALL的提出填补了该领域系统性评估基准的空白，为后续提升模型对外部不可靠信息的辨别能力提供了重要参考。

当前挑战

RECALL所应对的核心挑战在于大语言模型极易被外部反事实知识所误导。实验表明，当上下文中的答案部分被篡改时，模型准确率急剧下降，甚至低于无外部知识时的表现；即便仅修改非答案部分，模型仍会轻微受损。构建过程中的挑战则包括：如何从现有知识库中系统性地生成包含反事实信息的样本，需确保反事实修改的合理性且不影响上下文一致性；同时需设计能真实反映模型鲁棒性的评估指标，如误导率与错误重现率，以区分模型对反事实信息的敏感程度。此外，现有干预方法如提示工程与推理干预均未能同时提升响应质量与鲁棒性，凸显该问题的复杂性与解决难度。

常用场景

经典使用场景

在自然语言处理与人工智能的交汇领域，大型语言模型（LLMs）的鲁棒性评估日益成为关键议题。RECALL数据集专为评测LLMs在遭遇外部反事实知识干扰时的表现而设计，其经典使用场景聚焦于两项核心任务：问答与文本生成。在问答任务中，模型需从包含反事实信息的上下文中甄别正确答案；在文本生成任务中，模型则需依据被篡改的源文本生成忠实于事实的输出。该数据集通过系统性地注入反事实错误，模拟了现实世界中模型从互联网检索不可靠信息时的脆弱性，为衡量LLMs对外部误导信息的抵抗能力提供了标准化测试平台。

解决学术问题

RECALL数据集精准回应了当前大型语言模型研究中一个亟待解决的学术难题：当外部知识源（如搜索引擎返回的文本）包含与模型内在知识相悖的反事实信息时，模型如何维持输出的事实准确性。现有研究多聚焦于模型自身的幻觉问题，却忽视了外部信息不可靠性这一重要诱因。该数据集通过构建涵盖常识与科学知识两大领域的反事实干扰样本，首次系统量化了LLMs在问答与文本生成任务中的误导率与错误重现率。其意义在于揭示了现有模型对外部反事实信息的脆弱性，并证明简单提示或推理干预方法难以有效缓解此问题，从而为后续鲁棒性研究奠定了坚实的评测基础与方向指引。

衍生相关工作

RECALL数据集的提出催生了多项相关领域的经典探索。其一，推动了针对LLMs反事实鲁棒性的评测方法论研究，如基于模型置信度的误导检测指标，为区分模型正确与错误回答提供了量化依据。其二，激发了对抗性提示与推理干预方法的改进尝试，尽管实验中提示策略和DoLa等方法未能实现显著且一致的提升，但揭示了现有技术在处理外部知识矛盾时的局限性，促使研究者转向更精细的模型状态操控或知识融合策略。其三，该数据集与幻觉检测、谄媚行为分析等方向形成互补，共同构建了评估LLMs可靠性的多维框架，其提出的误导率与错误重现率指标已成为后续鲁棒性研究的基准参考。