enelpol/gutenberg_selected_ebooks

--- dataset_info: config_name: corpus features: - name: passage dtype: string - name: id dtype: int64 - name: author dtype: string - name: title dtype: string - name: gutenberg_source_id dtype: int64 splits: - name: train num_bytes: 2633492 num_examples: 1251 download_size: 1578596 dataset_size: 2633492 configs: - config_name: corpus data_files: - split: train path: corpus/train-* license: mit task_categories: - question-answering language: - en tags: - ebook - project_gutenberg size_categories: - 1K<n<10K --- # Gutenberg selected ebooks dataset This dataset is a collection of passages from ebooks handpicked from the [Gutenberg Project](https://www.gutenberg.org/). These writings are: * Alice's Adventures in Wonderland * Pride and Prejudice * Romeo and Juliet * The Adventures of Sherlock Holmes * The Odyssey * Winnie-the-Pooh # Source The texts of the passages were derived from a larger Gutenberg-based set: [sedthh/gutenberg_english](https://huggingface.co/datasets/sedthh/gutenberg_english), which was sourced directly from the project's site. # Metadata Each passage contains four metadata fields: | key | description | |----|----| | id | Passage unique identifier as *int* | | title | Title of the book as *string* | | author | Author's identity as *string*| | gutenberg_source_id | Text# unique book identifier on Project Gutenberg as *int* | # Copyrights A note from the source dataset, applicable to this data as well: - Some of the books are copyrighted! The crawler ignored all books with an english copyright header by utilizing a regex expression, but make sure to check out the metadata for each book manually to ensure they are okay to use in your country! More information on copyright: https://www.gutenberg.org/help/copyright.html and https://www.gutenberg.org/policy/permission.html - Project Gutenberg has the following requests when using books without metadata: *Books obtianed from the Project Gutenberg site should have the following legal note next to them: "This eBook is for the use of anyone anywhere in the United States and most other parts of the world at no cost and with almost" no restrictions whatsoever. You may copy it, give it away or re-use it under the terms of the Project Gutenberg License included with this eBook or online at www.gutenberg.org. If you are not located in the United States, you will have to check the laws of the country where you are located before using this eBook."*--- 数据集信息: 配置名称: 语料库（corpus） 特征字段: - 名称: 文本片段（passage） 数据类型: 字符串（string） - 名称: 标识符（id） 数据类型: 64位整数（int64） - 名称: 作者（author） 数据类型: 字符串（string） - 名称: 书名（title） 数据类型: 字符串（string） - 名称: 古登堡来源标识符（gutenberg_source_id） 数据类型: 64位整数（int64） 拆分集: - 拆分名称: 训练集（train） 字节大小: 2633492 样本数量: 1251 下载大小: 1578596 数据集总大小: 2633492 配置项: - 配置名称: 语料库（corpus） 数据文件: - 拆分: 训练集（train） 路径: corpus/train-* 许可证: MIT协议（mit） 任务类别: - 问答（question-answering） 语言: - 英语（en） 标签: - 电子书（ebook） - 古登堡计划项目（project_gutenberg） 规模分类: - 1千<n<1万（1K<n<10K） --- # 古登堡精选电子书数据集（Gutenberg selected ebooks dataset） 本数据集为从[古登堡计划（Project Gutenberg）](https://www.gutenberg.org/)中精心挑选的电子书文本片段集合。 入选作品包括： * 《爱丽丝梦游仙境》（Alice's Adventures in Wonderland） * 《傲慢与偏见》（Pride and Prejudice） * 《罗密欧与朱丽叶》（Romeo and Juliet） * 《福尔摩斯探案集》（The Adventures of Sherlock Holmes） * 《奥德赛》（The Odyssey） * 《小熊维尼》（Winnie-the-Pooh） ## 数据集来源 本数据集的文本片段源自一个规模更大的基于古登堡计划的数据集：[sedthh/gutenberg_english](https://huggingface.co/datasets/sedthh/gutenberg_english)，该数据集的文本直接取自古登堡计划官方网站。 ## 元数据说明 每个文本片段包含四个元数据字段： | 字段名 | 字段描述 | |----|----| | id | 整数（int）类型的文本片段唯一标识符 | | title | 字符串（string）类型的书籍名称 | | author | 字符串（string）类型的作者信息 | | gutenberg_source_id | 整数（int）类型的古登堡计划官方网站书籍唯一标识符 | ## 版权说明 源自原始数据集的版权提示同样适用于本数据集： - 部分书籍仍受版权保护！本数据集的爬虫通过正则表达式过滤了所有带有英文版权声明的书籍，但请您务必手动核查每本书的元数据，以确认其在您所在国家的使用合规性。更多版权相关信息请参考：https://www.gutenberg.org/help/copyright.html 及 https://www.gutenberg.org/policy/permission.html - 古登堡计划针对无元数据的书籍使用提出如下要求：*"从古登堡计划网站获取的电子书需附带以下法律声明：‘本电子书可供美国境内及全球大多数地区的用户免费使用，且几乎无任何使用限制。您可根据本电子书附带的古登堡计划许可证条款，或通过官网www.gutenberg.org在线条款，复制、分发或再次使用本作品。若您不在美国境内，则需在使用本电子书前核查您所在国家的相关法律法规。’"*