corag/kilt-corpus

KILT语料库包含大约3600万条来自 [Multi-task retrieval for knowledge-intensive tasks](https://arxiv.org/pdf/2101.00117) 论文的Wikipedia段落。它也是该论文中使用的检索语料库 [Chain-of-Retrieval Augmented Generation](https://arxiv.org/pdf/2501.14342)。数据集的字段包括：唯一标识符(id)、Wikipedia页面标题(title)、段落文本内容(contents)以及用于KILT评估的Wikipedia页面唯一标识符(wikipedia_id)。

The KILT Corpus contains approximately 36 million Wikipedia passages from the [Multi-task retrieval for knowledge-intensive tasks](https://arxiv.org/pdf/2101.00117) paper. It is also the retrieval corpus used in the paper [Chain-of-Retrieval Augmented Generation](https://arxiv.org/pdf/2501.14342). The fields of the dataset include a unique identifier (id), the title of the Wikipedia page from which the passage originates (title), the textual content of the passage (contents), and the unique identifier for the Wikipedia page used for KILT evaluation (wikipedia_id).

搜集汇总

数据集介绍

构建方式

在知识密集型任务的检索领域，大规模语料库的构建是支撑模型性能的基石。KILT Corpus数据集源自经典论文《Multi-task retrieval for knowledge-intensive tasks》，其构建过程严格遵循维基百科的结构化信息提取范式。具体而言，该数据集从英文维基百科中抽取了约3568万条文本段落，每条数据均包含四个核心字段：唯一标识符（id）、段落标题（title）、段落正文内容（contents）以及对应的维基百科页面ID（wikipedia_id）。这种设计不仅确保了数据来源的权威性与完整性，还通过统一的字段结构为多任务检索提供了标准化的输入格式，使得模型能够在统一的语料库上进行训练与评估。

使用方法

使用KILT Corpus数据集极为便捷，研究人员可借助Hugging Face的`datasets`库快速完成加载。首先确保已安装该库（通过`pip install datasets`命令），随后通过`load_dataset('corag/kilt-corpus', split='train')`即可获取训练集的全部数据。加载后的数据集对象支持标准的Python接口，用户可通过索引访问单个样本（如`ds[0]`）以检查数据结构，或利用`datasets`库提供的高效迭代与批处理功能进行模型训练。该数据集的Apache-2.0许可证进一步降低了使用门槛，使得学术研究与商业应用均能合法、便捷地利用这一资源。

背景与挑战

背景概述

在知识密集型自然语言处理任务中，如何高效、准确地从大规模知识库中检索相关信息，一直是制约模型性能提升的核心瓶颈。KILT Corpus数据集应运而生，由Jean Maillard、Vladimir Karpukhin等研究者于2021年在《Multi-task retrieval for knowledge-intensive tasks》一文中提出，旨在为多任务检索提供统一、标准化的知识基础。该数据集包含约3600万条来自英文维基百科的段落，每段均附有唯一标识符、标题及维基百科页面ID，为检索增强生成、事实性问答等任务提供了高质量的训练与评估语料。其影响力深远，不仅推动了KILT基准测试的建立，还成为后续如Chain-of-Retrieval Augmented Generation等前沿研究的检索语料基石，显著促进了知识驱动型NLP领域的发展。

当前挑战

KILT Corpus所面对的挑战主要源于知识密集型任务对检索系统的高要求。首先，在领域问题层面，如何从海量、嘈杂的维基百科文本中精准定位与查询语义匹配的段落，克服信息冗余与语义歧义，是检索模型必须解决的核心难题。其次，在数据集构建过程中，面临大规模文本的清洗与结构化挑战，包括处理维基百科的格式多样性、消除冗余内容、确保段落边界的合理性，以及为超过3500万个样本分配一致且可追溯的标识符。此外，保持数据集的时效性与覆盖度，避免因维基百科内容更新而导致的检索偏差，亦构成持续性的工程与维护挑战。

常用场景

经典使用场景

在知识密集型自然语言处理任务的探索中，KILT Corpus作为大规模维基百科语料库，其经典使用场景是作为检索增强生成（Retrieval-Augmented Generation, RAG）系统的外部知识源。该数据集包含约3600万条经过精细切分的维基百科段落，每条均配有唯一标识符、标题及原始页面ID，为模型提供了结构化的世界知识检索基础。研究者常将其嵌入至检索器-阅读器架构中，通过检索相关段落来辅助生成模型回答开放域问题或完成事实性推理任务，从而缓解大语言模型在知识边界上的局限性。

解决学术问题

KILT Corpus的构建有效回应了知识密集型任务中知识来源碎片化与评估标准不统一的核心困境。学术研究长期面临两大挑战：一是如何为检索模型提供大规模、高质量且与下游任务对齐的语料库；二是如何在不同知识场景下公平比较模型性能。该数据集通过统一维基百科的段落化处理，并与KILT基准任务（如事实检查、实体链接、关系抽取等）建立索引映射，使得研究者能够精确追溯模型所依赖的知识来源。这一设计极大促进了检索与生成模块的联合优化，推动了多任务知识检索范式的理论完善。

实际应用

在实际应用层面，KILT Corpus赋能了众多需要实时、准确知识支撑的智能系统。例如，在智能客服领域，系统可借助该语料库检索产品手册或政策文档中的相关段落，生成精准的应答文本；在学术知识问答平台中，它被用于构建基于证据的答案验证流程，确保输出信息有据可查。此外，新闻事实核查工具也利用该数据集快速比对声明与权威百科条目，辅助识别虚假信息。这种将结构化知识库与生成模型结合的方式，显著提升了AI系统在医疗、法律等高合规要求场景下的可信度与可解释性。

数据集最近研究

最新研究方向

KILT语料库作为知识密集型自然语言处理任务的基石，最新研究聚焦于检索增强生成（RAG）范式的革新。随着2025年Chain-of-Retrieval Augmented Generation（CoRAG）论文的提出，该数据集从传统的单一检索支撑升级为多步链式检索框架，显著提升了复杂知识推理的准确性与可解释性。这一前沿方向呼应了大语言模型在事实性问答、长文本生成等热点场景中对动态知识获取的迫切需求，其意义在于突破了静态知识库的局限，为构建更可靠、更透明的AI系统提供了关键数据基础设施，推动了知识检索与生成任务的深度融合。