saibo/bookcorpus_deduplicated

这是一个去重版本的原始Book Corpus数据集。Book Corpus（Zhu et al., 2015）曾被用于训练如BERT等流行模型，但根据Bandy和Vincent（2021）的研究，该数据集中存在大量完全重复的文档。去重后，数据集中的重复文本被删除，仅保留首次出现的文本，并保持文本出现的顺序。去重后的数据集包含38,832,894行文本，大小为2.91GB，而去重前为74,004,228行和4.63GB。去重训练数据具有多种优势，包括减少训练步骤、降低模型记忆文本的频率以及减少碳排放和能源消耗。This is a deduplicated version of the original Book Corpus dataset. Book Corpus (Zhu et al., 2015) was previously utilized to train popular models such as BERT. However, according to the study by Bandy and Vincent (2021), the original dataset contained a large number of exact duplicate documents. After deduplication, duplicate texts within the dataset are removed, retaining only the texts that appear for the first time while maintaining their original occurrence order. The deduplicated dataset contains 38,832,894 rows of text with a total size of 2.91 GB, compared with 74,004,228 rows and 4.63 GB prior to deduplication. Deduplicated training data offers multiple advantages, including reducing training steps, lowering the frequency of model text memorization, as well as cutting carbon emissions and energy consumption.

原始信息汇总

数据集概述

数据集名称

• 名称: bookcorpus_deduplicated

数据集特征

• 特征:
  • text: 数据类型为字符串（string）

数据集拆分

• 拆分:
  • train:
    • num_bytes: 2867856394
    • num_examples: 38832894

数据集大小

• 下载大小: 1794567875
• 数据集大小: 2867856394

数据集描述

• 描述: 此数据集是原始Book Corpus数据集的去重版本。原始数据集存在大量重复文档，去重后仅保留文本首次出现的内容，并保持文本出现的顺序。

去重效果

• 行数对比: 38832894（去重后）VS 74004228（原始）
• 数据集大小对比: 2.91GB（去重后）VS 4.63GB（原始）

去重原因

• 优势:
  • 减少训练步骤，达到相同或更高精度
  • 减少模型输出记忆文本的频率
  • 降低碳排放和能源消耗

去重脚本

• 脚本概述: 使用Python脚本进行去重，通过Pandas和datasets库实现，运行时间短，不到几分钟。

参考文献

• 文献1: Bandy, Jack and Vincent, Nicholas. "Addressing Documentation Debt in Machine Learning Research: A Retrospective Datasheet for BookCorpus". arXiv:2105.05241 [cs.CL, cs.CY, cs.LG].
• 文献2: Lee, Katherine et al. "Deduplicating Training Data Makes Language Models Better". arXiv:2107.06499 [cs.CL, cs.LG].

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，大规模语料库的构建往往面临数据冗余的挑战，而saibo/bookcorpus_deduplicated正是为解决这一问题而生。该数据集基于原始的BookCorpus（Zhu et al., 2015）进行去重处理，后者曾用于训练BERT等经典模型。研究指出，原始BookCorpus中存在大量完全重复的文档，仅11,038本书中就有7,185本是唯一的。构建过程中，通过简单的精确匹配去重机制，仅保留每条文本的首次出现，并维持原始顺序不变，最终将数据集从4.63GB压缩至2.91GB，行数从74,004,228减少至38,832,894，显著提升了数据纯洁性。

使用方法

使用该数据集极为便捷，可直接通过HuggingFace的datasets库加载。用户只需调用`load_dataset("saibo/bookcorpus_deduplicated")`，即可获取包含单一`text`字段的训练集，每条数据代表一段去重后的书籍文本。该数据集适用于文本生成、语言建模及预训练任务，可直接作为BERT、GPT等模型的输入。对于进阶需求，可参考Google Research的去重算法（如deduplicate-text-datasets库）进行更精细的处理，以进一步提升数据质量。加载后，建议结合分词器进行预处理，并依据下游任务调整批次大小。

背景与挑战

背景概述

在自然语言处理领域，大规模文本语料库的构建与质量对预训练语言模型的性能至关重要。BookCorpus数据集由Zhu等人于2015年创建，涵盖超过一万本未出版书籍的文本内容，因其丰富的叙事文本和多样性，成为BERT等经典模型训练的核心数据源。然而，Bandy与Vincent在2021年的研究中揭示，该数据集中存在大量完全重复的文档，仅约七千余本为独特书籍，严重影响了数据集的代表性与模型训练效率。为应对这一缺陷，saibo/bookcorpus_deduplicated版本应运而生，通过去重操作保留首次出现的文本，使数据规模从四十六亿字节缩减至二十九亿字节，行数亦减少近半，从而为语言模型提供更纯净的训练基础。

当前挑战

该数据集所应对的核心挑战在于原始BookCorpus中普遍存在的文档级精确重复问题，这种冗余导致模型在训练过程中反复接触相同内容，不仅浪费计算资源，还可能加剧记忆化现象，降低泛化能力。构建过程中，去重操作虽采用简单的精确匹配策略，运行时间仅数分钟，但面临更复杂的语义重复或近似重复文本的识别难题，现有方法如基于哈希的算法仍难以完全消除噪声。此外，去重后数据集规模缩小，可能削弱语言覆盖的广度，如何在保持数据多样性的同时提升质量，仍是持续优化的关键挑战。

常用场景

经典使用场景

作为大规模无监督预训练语料库，saibo/bookcorpus_deduplicated最经典的使用场景是训练深层语言模型，尤其适用于需要高质量、低冗余文本数据的自然语言处理任务。该数据集通过剔除原始BookCorpus中大量重复文档，保留了约3883万条简洁且唯一的文本序列，显著降低了数据噪声。研究者常将其作为基础训练资源，用于构建诸如掩码语言模型或自回归语言模型的初始权重，从而提升模型对语义连贯性和上下文理解的捕捉能力。

解决学术问题

该数据集有效解决了预训练语料中数据冗余导致的模型过拟合与记忆化问题。原始BookCorpus中近35%的书籍存在完全重复，导致模型在训练时过度依赖重复模式，削弱了泛化性能。去重后的版本使模型在更少的训练步数内达到同等甚至更优的准确率，同时将记忆化文本的生成频率降低十倍。这一改进为研究数据质量对语言模型能力的影响提供了关键基准，推动了关于训练数据去重理论的学术探索。

实际应用

在实际应用中，saibo/bookcorpus_deduplicated被广泛部署于文本生成、情感分析和机器翻译等下游任务的模型微调阶段。例如，企业可通过该数据集预训练轻量级语言模型，用于智能客服系统的对话生成或文档摘要的自动提取。此外，其去重特性减少了碳足迹和计算能耗，使得资源受限的团队也能高效开发定制化的自然语言处理工具，提升了工业界部署语言模型的可行性。

数据集最近研究

最新研究方向

在大规模语言模型训练数据日益膨胀的背景下，数据质量与冗余问题成为制约模型性能与效率的关键瓶颈。saibo/bookcorpus_deduplicated数据集应运而生，其核心贡献在于对经典BookCorpus进行了精确去重处理，将原本11,038本书中的重复文档剔除，仅保留7,185本唯一书籍，数据规模从4.63GB压缩至2.91GB。这一工作直接回应了Bandy与Vincent（2021）对BookCorpus文档债务问题的揭示，并基于Lee等人（2021）的研究成果，验证了去重训练数据能显著减少模型记忆化文本、提升训练效率并降低碳排放。当前前沿方向聚焦于将此类去重策略与更复杂的语义级去重算法（如MinHash、SimHash）相结合，以进一步消除近似重复样本，从而在保持模型泛化能力的同时，推动语言模型向更高效、更绿色的方向发展。该数据集的发布为后续研究提供了基准，强调了数据清洗在构建更鲁棒、更可信的NLP系统中的基石作用。