SinclairSchneider/project_gutenberg

该数据集包含多个语言（如德语、英语、芬兰语、法语等）的文本数据，主要特征包括标题、作者姓名、作者出生日期、作者逝世日期、作者别名、作者网页、语言、主题、书架、创建时间、下载次数和内容。数据集按语言分为多个子集，每个子集包含不同数量的示例和字节大小。数据集的主要任务类别是文本生成。

The dataset contains text data in multiple languages, with each entry detailing the title, authors name, birth and death dates, alias, webpage, language, subjects, bookshelves, creation time, download counts, and content. The dataset is divided into subsets by language, each with specified byte size and number of examples. Primarily used for text generation tasks.

原始信息汇总

数据集概述

数据集特征

• title: 字符串类型
• author_name: 字符串类型
• author_birthdate: 64位整数类型
• author_deathdate: 64位整数类型
• author_alias: 字符串类型
• author_webpage: 字符串类型
• language: 字符串类型
• subjects: 字符串序列
• bookshelfs: 字符串序列
• created_at: 字符串类型
• downloads: 64位整数类型
• content: 字符串类型

数据集分割

• af: 2282603字节，11个样本
• bg: 471367字节，1个样本
• bo: 205839字节，1个样本
• br: 549735字节，1个样本
• ca: 7663099字节，29个样本
• ceb: 208352字节，2个样本
• cs: 49347字节，1个样本
• cy: 1710111字节，7个样本
• da: 21185745字节，58个样本
• de: 429204457字节，1274个样本
• el: 3496093字节，4个样本
• en: 14520750766字节，38516个样本
• eo: 945802字节，5个样本
• es: 220617367字节，521个样本
• et: 102480字节，1个样本
• fi: 796840293字节，2487个样本
• fr: 894468652字节，2199个样本
• fur: 168357字节，1个样本
• fy: 2383262字节，3个样本
• gl: 56108字节，1个样本
• gla: 141633字节，2个样本
• hu: 64133280字节，162个样本
• ilo: 79058字节，2个样本
• it: 155987673字节，377个样本
• ja: 208659字节，1个样本
• la: 16030698字节，45个样本
• mi: 46445字节，1个样本
• myn: 76499字节，1个样本
• nl: 320092500字节，849个样本
• no: 2746448字节，13个样本
• oji: 106549字节，1个样本
• pl: 394924字节，1个样本
• pt: 102017012字节，557个样本
• ro: 956320字节，1个样本
• ru: 272036字节，1个样本
• sa: 35349字节，1个样本
• sv: 50273657字节，168个样本
• tl: 7244507字节，52个样本
• zh: 2733682字节，3个样本

数据集大小

• 下载大小: 10625922994字节
• 数据集大小: 17626936764字节

任务类别

• 文本生成

语言

• de: 德语
• en: 英语
• fi: 芬兰语
• fr: 法语

数据集规模

• 10K<n<100K