sunorme/webnovel-chinese

---
license: apache-2.0
task_categories:
- text-generation
language:
- zh
tags:
- llm
- pretrain
size_categories:
- 1B<n<10B
---

## 简介

搜集网络上的网文小说，清洗，分割后，用于训练大语言模型，共计9000本左右，大约9B左右token。

## 使用

### 格式说明

采用`jsonl`格式存储，分为三个字段：

- `title` ：小说名称
- `chapter`：章节
- `text`：正文内容

示例：

```json
{"title": "斗破苍穹", "chapter": " 第一章 陨落的天才", "text": "“斗之力，三段！”\n望着测验魔石碑上面闪亮得甚至有些刺眼的五个大字，少年面无表情，唇角有着一抹自嘲，紧握的手掌，因为大力，而导致略微尖锐的指甲深深的刺进了掌心之中，带来一阵阵钻心的疼痛……\n“萧炎，斗之力，三段！级别：低级！”测验魔石碑之旁，一位中年男子，看了一眼碑上所显示出来的信息，语气漠然的将之公布了出来……\n"}

```