defunct-datasets/bookcorpusopen

BookCorpusOpen是一个由书籍组成的语料库，每个条目包含书名和未经处理的书籍文本。该数据集已失效，无法访问，原因是源数据不可用。该数据集最初由Shawn Presser准备，并由非营利平台The-Eye托管，用于数据保存。数据集主要为英文，适用于文本生成和填充掩码等任务。数据集包含17868个项目，每个项目有两个字段：title（书名）和text（文本内容）。书籍文本内容丰富，包含从细粒度信息到高级语义的广泛内容。

BookCorpusOpen is a corpus consisting of books, with each entry containing the book title and unprocessed book text. This dataset is now deprecated and inaccessible, as the original source data is no longer available. Originally prepared by Shawn Presser, the dataset was hosted on the non-profit platform The-Eye for data preservation. Primarily in English, this corpus is applicable to tasks such as text generation and masked language modeling. The dataset comprises 17,868 entries, each featuring two fields: "title" (book title) and "text" (text content). The book texts are rich in content, covering a wide spectrum of materials ranging from fine-grained information to high-level semantics.

原始信息汇总

数据集概述

数据集基本信息

• 数据集名称: BookCorpusOpen
• 语言: 英语
• 许可证: 未知
• 多语言性: 单语种
• 大小分类: 10K<n<100K
• 源数据: 原始数据
• 任务类别: 文本生成、填充掩码
• 任务ID: 语言建模、掩码语言建模
• 数据集ID: bookcorpus

数据集结构

数据实例

• 下载数据大小: 2.40 GB
• 生成数据大小: 6.64 GB
• 总磁盘使用量: 9.05 GB

数据字段

• 标题: 字符串类型
• 文本: 字符串类型

数据分割

• 训练集: 17868条数据

数据集创建

数据来源

• 数据准备者: Shawn Presser
• 数据托管: The-Eye

许可证信息

• 数据来源: smashwords.com
• 条款服务: smashwords.com 条款服务

引用信息

@InProceedings{Zhu_2015_ICCV, title = {Aligning Books and Movies: Towards Story-Like Visual Explanations by Watching Movies and Reading Books}, author = {Zhu, Yukun and Kiros, Ryan and Zemel, Rich and Salakhutdinov, Ruslan and Urtasun, Raquel and Torralba, Antonio and Fidler, Sanja}, booktitle = {The IEEE International Conference on Computer Vision (ICCV)}, month = {December}, year = {2015} }

贡献者

• 贡献者: @vblagoje

搜集汇总

数据集介绍

构建方式

BookCorpusOpen数据集是由Shawn Presser构建，并托管于The-Eye平台。该数据集包含了17868本图书的标题和未经处理的文本内容。这些图书主要来源于互联网的公开资源，特别是Smashwords网站，旨在为文本生成、语言模型训练等任务提供丰富的文本数据。

特点

BookCorpusOpen数据集的特点在于其包含的文本内容未经处理，保留了书籍原始的语言风格和结构。该数据集为单语种英语数据集，适用于文本生成和填充遮蔽等任务。此外，数据集的构建注重版权开放，但具体版权信息不详。数据集规模适中，便于在多种计算资源上进行操作。

使用方法

使用BookCorpusOpen数据集时，用户可以直接从The-Eye平台下载，然后根据具体任务需求对文本数据进行预处理。数据集以plain_text格式存储，包含标题和文本两个字段，用户可以根据字段信息进行数据解析和利用。需要注意的是，数据集的使用应遵循相关的版权规定，尊重原作者的知识产权。

背景与挑战

背景概述

BookCorpusOpen数据集，由Shawn Presser策划，并得到The-Eye平台的慷慨托管，是一个包含17868本图书的文本数据集。这些图书内容不仅包含细腻的信息，如角色、物体或场景的外观描述，还涵盖高层次语义，如人物的思想、情感及其在故事中的变化。该数据集创建于2015年，旨在为自然语言处理任务如文本生成、填空等提供丰富的文本资源，对于理解细粒度文本内容和高层语义具有显著的研究价值，对相关领域产生了深远的影响。

当前挑战

尽管BookCorpusOpen数据集对研究领域贡献良多，但也面临一些挑战。首先，数据集已经不再可用，源数据不可访问，这限制了其长期的研究价值。其次，构建过程中遇到了数据集版权和许可问题，书籍内容是从smashwords.com抓取的，其使用条款限制了数据的进一步应用和分享。此外，数据集中可能存在的个人和敏感信息、潜在的偏见以及其他未知局限性，都是使用该数据集时需要考虑的重要因素。

常用场景

经典使用场景

在自然语言处理领域，BookCorpusOpen数据集以其丰富的文本内容，成为训练语言模型的重要资源。该数据集常被用于文本生成和填充任务，为模型提供了大量书籍文本，以学习语言的结构和语义。通过这些文本，模型能够掌握叙述的连贯性、角色性格的描述以及场景的渲染。

实际应用

在实际应用中，BookCorpusOpen数据集可用于构建更智能的推荐系统，通过对书籍内容的深入理解，为读者提供个性化的阅读建议。同时，它也能够支持开发更为精准的文本分析工具，用于情感分析、主题分类等，进而提升内容审核和情报挖掘的效率。

衍生相关工作

基于BookCorpusOpen数据集，研究者们衍生出了一系列相关工作，如书籍与电影的对应关系研究、故事性视觉解释的生成等。这些工作不仅推动了跨模态学习的进展，也为电影与文学作品的结合提供了新的视角和思路。