frogd51/bookcorpus-M

Name: frogd51/bookcorpus-M
Creator: frogd51
Published: 2025-10-25 08:58:16
License: 暂无描述

Hugging Face2025-10-25 更新2025-11-15 收录

下载链接：

https://hf-mirror.com/datasets/frogd51/bookcorpus-M

下载链接

链接失效反馈

官方服务：

资源简介：

这是一个经过语法修正并包含更多内容的BookCorpus修改版。

This is a modified version of BookCorpus, with corrected grammar and more.

提供机构：

frogd51

bookcorpus/bookcorpus

BookCorpus数据集是一个包含大量英文书籍文本的语料库，主要用于文本生成和掩码语言建模任务。数据集来源于smashwords.com上的自出版书籍，经过处理后生成了包含书籍全文的文本文件。数据集的大小为4.85 GB，包含74004228个训练样本。数据集的创建目的是为了提供丰富的文本信息，用于训练AI系统。然而，数据集的收集和处理过程中存在一些伦理问题，如作者未被告知其作品被用于AI训练，

Hugging Face2024-05-03 更新2650

raddwolf/BookCorpus74M

该数据集包含一个名为text的字符串类型特征，主要用于训练目的。数据集总大小约为4.835GB，包含74,004,228个训练样本。数据集的下载大小约为3.019GB。

Hugging Face2024-09-30 更新90

BookCorpus

BookCorpus是一个流行的大型文本语料库，特别适用于无监督学习的句子编码器/解码器。然而，BookCorpus不再被分发。

github2024-05-22 更新580

raddwolf/BookCorpus1M

该数据集包含一个名为text的字段，数据类型为字符串。数据集分为一个训练集，包含1,000,000个例子，大小为70,924,225字节。下载大小为44,026,408字节，数据集总大小为70,924,225字节。

Hugging Face2024-09-28 更新100

bookcorpus

BookCorpus主要用于文本生成和填充掩码任务。它包含从Smashwords网站抓取的超过7000本英文书籍的文本数据，总大小约为4.85GB。这些书籍最初由作者在Smashwords上自行发布，并按流派进行分类，但数据集本身没有提供明确的标注信息。BookCorpus主要用于非监督训练，但存在数据重复、版权问题和抽样偏差等局限性，使用时需要谨慎。数据集的使用需遵循Smashwords的服务条

OpenCSG2024-07-19 更新210