Hellisotherpeople/Lipogram-e

Lipogram-e数据集包含三本不包含字母e的英文书籍，分别是Ernest Vincent Wright的《Gadsby》、Georges Perec的《A Void》和Christian Bok的《Eunoia》（除了其中一章使用了字母e）。这些书籍是Lipogram（避字文）的示例，即系统性地省略某个字母或字符串的作品。数据集的主要任务是受限文本生成，但也适用于所有类型的语言建模任务。数据集的创建动机是为了提供大规模且连贯的文本，以符合特定的约束条件（如省略字母e）。数据集来源于Project Gutenberg，并由Allen Roush进行整理。

原始信息汇总

数据集概述

数据集描述

数据集总结

• 包含三本英文书籍，均不包含字母 "e"。
• 包括 "Gadsby" 作者 Ernest Vincent Wright, "A Void" 作者 Georges Perec, 和 "Eunoia" 作者 Christian Bok（除使用字母 "e" 的章节外）。
• 作为论文 "Most Language Models can be Poets too: An AI Writing Assistant and Constrained Text Generation Studio" 的一部分，将在 COLING 2022 上发表。

支持的任务和排行榜

• 主要任务：约束文本生成
• 适合所有类型的语言建模

语言

• 英语

数据集结构

数据实例

• 直接从可用的 pdf 或 epub 文档中提取，转换为 txt 格式。

数据字段

• 文本：每部作品的名称在开始和结束时出现，便于重新分割。

数据分割

• 未提供具体分割方法，但在论文中提取了每本书的最后 20% 并连接起来。

数据集创建

来源数据

• 初始数据收集和标准化：Project Gutenberg
• 源语言生产者：Ernest Vincent Wright, Georges Perec, Christian Bok

注释

• 注释过程：无
• 注释者：n/a

个人和敏感信息

• 无

使用数据的考虑

社会影响

• 这些书籍已存在一段时间，不太可能产生显著的社会影响。

偏见讨论

• 数据集完全排斥字母 "e"，可能存在内容偏见。建议在使用前阅读书籍以验证其是否存在问题。

其他已知限制

• 可能存在更多未被作者发现的作品，这可能成为数据集迭代的基础。

附加信息

数据集管理员

• Allen Roush

许可信息

• MIT

贡献

• 感谢 @Hellisotherpeople 添加此数据集。