florin-hf/wiki_dump2018_no_duplicates

这是一个清理和去重后的英文维基百科数据集，来源于2018年12月20日的维基百科转储。最初来源于DPR仓库，经过处理去除了重复项，最终包含20,970,784个段落，每个段落由100个单词组成。该数据集用于支持一项关于RAG系统中基础与指导大型语言模型比较的研究。

This is a cleaned and de-duplicated version of the English Wikipedia dump dated December 20, 2018. Originally sourced from the DPR repository, it has been processed to remove duplicates, resulting in a final count of 20,970,784 passages, each consisting of 100 words. The dataset is used to support experiments comparing base and instruct Large Language Models within Retrieval-Augmented Generation systems.

搜集汇总

背景与挑战

背景概述

该数据集是一个清理和去重后的英文维基百科2018年转储，包含20,970,784个100单词的段落，格式为Parquet，总大小7.56 GB。它专为问答任务设计，用于支持研究论文中比较检索增强生成系统的基础与指令大型语言模型的实验。