molbal/dramallama-novels

DramaLlama数据集是一个用于文本生成任务的英文数据集，主要包含从The Gutenberg项目获取的各类小说，如侦探小说、犯罪非小说、神秘小说、哥特小说、恐怖小说、浪漫小说、短篇小说和西部小说等。数据集经过预处理，包括去除页眉页脚、清理数据、分块处理，并最终上传到Hugging Face平台。数据集的大小在10K到100K之间。

原始信息汇总

DramaLlama dataset 概述

基本信息

• 许可证: Unlicense
• 任务类别: 文本生成
• 语言: 英语
• 标签: 艺术
• 美观名称: Drama Llama dataset
• 大小范围: 10K<n<100K

数据收集与处理步骤

步骤1: 获取小说

• 数据来源: 古腾堡项目
• 主题: 侦探小说、犯罪非小说、神秘小说、哥特小说、恐怖、浪漫小说、短故事、西部
• 数量: 每个主题收集10000条记录

步骤2: 预处理

步骤2/a: 去除头部和尾部

• 操作: 去除文件的头部和尾部
• 输入目录: "./training-data/0_raw/"
• 输出目录: "./training-data/2a_stripped/"

步骤2/b: 进一步清理

• 操作: 使用黑名单和垃圾列表进行文本清理，将包含黑名单内容的块发送到本地LLM进行重述
• 输入目录: "./training-data/2a_stripped/"
• 输出目录: "./training-data/2b_cleaned/"
• 本地环境要求: 安装Ollama

步骤3: 分块

• 操作: 将数据集分块并保存为Parquet文件
• 源目录: "./training-data/2b_cleaned/"
• 输出文件: "./training-data/data.parquet"

步骤4: 数据集上传

• 上传平台: Hugging Face
• 数据集链接: https://huggingface.co/datasets/molbal/dramallama-novels