pszemraj/riddlesense_plusplus

RiddleSense++数据集是对原始riddle_sense数据集进行清理和修改后的版本，旨在更适合用于训练语言模型生成谜语。数据集进行了多项显著更改，包括重新格式化以使用特殊标签指示问题和答案部分、进行空白标准化等清理工作，以及使用neuspell库中的BertChecker对问题进行拼写校正。原始数据集的非商业条款也适用于此数据集。

原始信息汇总

数据集概述

基本信息

• 名称: RiddleSense
• 语言: 英语（en）
• 多语言性: 单语种（monolingual）
• 许可证: 其他（other）
• 注释创建者: 众包（crowdsourced）
• 语言创建者: 已发现（found）
• 大小类别: 1K<n<10K
• 源数据集: riddle_sense
• 标签: riddles, riddler, non-commercial

数据集修改

• 格式调整: 使用特殊标签区分问题和答案部分。
• 规范化处理: 包括空格规范化等，使用clean-text工具。
• 拼写校正: 仅对问题部分进行，使用neuspell库中的BertChecker工具，答案部分保持原样以保留特定术语和双关语。

注意事项

• 非商业使用: 数据集包含非商业条款。