webnovel_cn

## 内容
包含从12560本网文提取的约**21.7M**条可用于训练小说生成的中文指令数据(novel_json_tokens512.zip)。~~下载链接：https://pan.baidu.com/s/1TorBMbrqxrn6odRF0PJBVw
提取码：jlh3~~

以及从中提取出的包含**50k**条数据的子集(novel_cn_token512_50k.json)。其中输入和输出都不多于 512 tokens。
## 示例代码
```python
from modelscope import MsDataset
from modelscope.utils.constant import DownloadMode

ds = MsDataset.load('AI-ModelScope/webnovel_cn', split='train', download_mode=DownloadMode.FORCE_REDOWNLOAD)
print(next(iter(ds)))
```

## 样例
在原有小说文本基础上，依据下列五种指令生成数据。
其中，文本由小说中随机抽取的连续句子组成。
1. 给定标题，直接生成简介。
2. 给定标题和简介，生成开头。
3. 给定简介和一段文本，生成后续文本。
4. 给定标题和一段文本，生成后续文本。
5. 给定一段文本，生成后续文本。

```
{
"instruction": "小说名：无限恐怖\n节选正文：\n“不行，中校，我们必须把这里的情况和这些虫族的拍摄画面传回地球去，是的，我们人类已经到了最危险的关头，地球上所有的工业重工业完全应该按照战时情况进行任务布置，我们人类的工业力根本不是虫族能够想象的，一年，不，半年我们就能有一万艘宇宙战舰升空，如果全球一共进行建造的话，我们一定……”一名少校参谋长看着那密密麻麻的宇宙虫海，他神色激动的对楚轩说道。\n楚轩默默咬了一口苹果，他说道：“问题一……一万艘宇宙战舰需要多少熟练的战舰船员？需要多少士兵在战舰上服役，半年里我们可以聚集齐全吗？问题二……虫族会给地球联邦政府留下半年的时间吗？一旦我们被消灭干净，则联邦政府将会随即遭受到这些宇宙虫族的太空袭击，直到我们的太空优势完全丧失之后，虫族就能放心移动陨石进行攻击，甚至是将大量陆地虫子带上地球，那时我们人类能够凭肉体与虫子对抗吗？问题三……我们现在该如何把信息传给地球？”\n这名参谋长顿时就不说话了，而旁边一名上尉忽然说道：“在探戈幽灵星上的七座要塞中，每一座要塞都有大功率粒子喷射联络器，这种联络器连我们自己的科技都无法屏蔽，我想虫子也应该不可能继续屏蔽吧，毕竟那只是粒子而已，不是电流信号这些……”续篇：",
"input": "",
"output": "楚轩咬了一口苹果说道：“没错，所以我们才要登陆到探戈幽灵星，这是我们的目的，同时为了保存宇宙舰队的战斗力，以最大的平原军事基地，风暴要塞为中心，所有舰队都要降落到地面上，然后层层布防，在援军到来前，在地球联邦政府做好了战争准备前，我们必须像颗钉子一样钉死在这里，让虫族无法忽视我们而去进攻地球……怎么样？我们很可能会死在这里，面对数十万，数百万，甚至数千万的虫子前扑后续的攻击，但是我们的名字一定会载入史册……把刚才记录下来的我的话发向所有舰队，然后告诉他们，作为逃命被自己人杀掉，或者是成为英雄回到地球，让他们明白我们的处境，然后自己去选择吧。”\n周围的参谋和军官们同时向楚轩四人敬了一礼，接着那参谋长激动的向某处平台走了过去。\n郑吒默默走到了楚轩身边，他小声的说道：“楚轩……你什么时候变得了那么会煽情了啊？”\n楚轩却是理所当然的说道：“将自己归于多数人的一边，以前的你不是这样评价我的吗？没错，将自己归于多数人的一边，这是做任何大事都要先完成的第一步……已经让他们知道命运和我们连接在了一起，接着就只需要好好的安排下局面与等待‘主神’的任务就可以了，时间还有三天……”\n时间还有三天，在当天中午的时候，舰队群的预警舰果然发现了在探戈幽灵星后方徘徊着另一颗巨大圆球，它仿佛卫星一样座落在探戈幽灵星的近地轨道上，而随着联合舰队的到来，这只巨大圆球上果然也飞出了数以万计的宇宙虫子，这下联合舰队果然却如楚轩的预言那般了，前有埋伏，后有追兵，唯一的一条路就只剩下降落到探戈幽灵星上了。"
},
{
"instruction": "给定小说简介和节选，续写小说",
"input": "小说简介：主人公郑吒自从失去了自己最亲密的青梅竹马后，对这种反复而又无聊的现代生活已经感到十分的厌倦。正在这时，他发现电脑屏幕上弹出了一段信息：“想明白生命的意义吗？想真正的……活着吗？”在按下YES后，一切都改变了。他进入了一个恐怖片的轮回世界——主神空间……在主神空间里，只有不停地变强、不停地进化，才能闯过那一关关的恐怖片，才能活下去。郑吒，怎样才能活下去？是杀死与自己对抗的所有人，走向孤独的王者之道？还是和自己的伙伴奋战到死，以仁义之道来度过劫难？其实，所有的一切也只是为了活下去。直到他们发现了主神空间的秘密……究竟……谁才是暗中真正的威胁？一切尽在无限恐怖！\n\n\n\n上半部：初始\n节选篇章：“什么叫作事情已经发展到了这一步！”郑吒大声的喧哗吼叫着，他冲着楚轩吼道：“你这个白痴！我一直都在重复着同样一句话，我们是同伴啊，为什么不可以事先把你的猜测或者布局告诉我们呢？每次都把我当成白痴一样，每次都在算计我之后轻描淡写的说一句我骗你的，你究竟把我当成什么人？”\n“呃……大概是可以欺骗的凡人智慧者吧。”楚轩想了一下直接说道。\n“……不要拦着我！王侠，伊莫顿，你们放开我！我要干掉这个白痴！”\n喧哗又一次发生了，片刻之后再次安静下来时，楚轩本已略微肿胀的脸终于是彻底肿胀了起来，而看他的样子依然是一丁点疼痛都感觉不到，依然悠闲的吃着黄瓜。\n“……总之，事情已经发展到了这一步……”郑吒摸着额头，很痛苦的说道：“那么我们必须先要得到王女鄂亚的关押位置所在，当然了，直接打进首都也其实也不是不可以，但是从原剧情来看，似乎只有那个名叫邪影者的魔法师与国王歌巴塔尔知道她的关押位置，为了不打草惊蛇，还是花些时间慢慢渗透进去查找线索吧。”\n“赵樱空，你负责潜行进王城内，能不杀人尽量不杀人，若是遇到危险就转换人格，或者联络我们……伊莫顿，你负责到王城外的村庄去打探消息，尽量不要引人注意，若是可以，使用你的法术控制些人也行，照刚才我说的，遇到危险可以杀人，也可以联络我们，楚轩，王侠，你们两人就在附近待机，一旦发现有任何情况都要提供支援。”",
"output": "众人都点着头，王侠忽然好奇的问道：“你呢？你打算干什么去？”\n“我会把整个王城的情况给摸清楚，关键是王城里可能隐藏着的力量，我很在意啊，伊莫顿的感觉从某些方面来讲比我们都更出色，毕竟他是死亡的生物……或许，这场恐怖片世界并不像我们所想的那样轻松呢。”郑吒说到这里时叹了口气，他接着又看向了那首都位置。\n“时间还有两天多，我们尽量在三天内完成这部恐怖片世界吧……希望另一边的幼龙能够赶快成长。”郑吒边说话，边驾驶绿魔滑板就向地面飞去，渐渐的，他离众人已经越来越远了。\n此刻，在离王城首都极遥远外的小村处，主角伊拉贡正极其狼狈的奔跑在树丛中，跟随在他身边的还有他的舅舅……非常不幸的，逃跑没多久，他的表哥就失散在了这片森林中，或者说是被那些士兵们给抓住了也说不定。\n更加不幸的是，那名中年武士明显已经落败，不然不会多出那么多士兵紧紧追着他们，比起在村庄的时候，士兵的数量又更加的多了，至少有十多名士兵在他们不远处紧紧追赶。\n“你到底偷了什么东西啊！为什么会有这么多士兵来追赶你呢？”伊拉贡的舅舅气喘吁吁的问道，他已经跑得没什么精力去发怒了。\n“……一个龙蛋，不是偷的，这是我从森林里拣来的！”伊拉贡虽然也是跑得筋疲力尽，但他还在坚持着最后的底线，依然不停辩解着。\n“龙蛋？那可是国王的东西啊！而且还是孵化出幼龙的龙蛋！你这个白痴，你这样会害死大家的！”伊拉贡的舅舅一听此话就气急败坏的叫道，但他还是不停向前跑去，不敢有丁点停顿，因为在他们背后不停的追赶着十多名士兵。\n“在那里！看到他们了！他们在那里！”"
}
```

## 字段：
```
instruction: 指令
input: 输入
output: 输出
```

## 使用限制
仅允许将此数据集及使用此数据集生成的衍生物用于研究目的，不得用于商业，以及其他会对社会带来危害的用途。
本数据集不代表任何一方的立场、利益或想法，无关任何团体的任何类型的主张。因使用本数据集带来的任何损害、纠纷，本项目不承担任何责任。

Join group via https://t.me/+JbovpBG6-gBiNDI1

## Dataset Content
This dataset contains approximately 21.7M Chinese instruction data for novel generation training, extracted from 12560 web novels, packaged as novel_json_tokens512.zip. ~~Download link: https://pan.baidu.com/s/1TorBMbrqxrn6odRF0PJBVw
Extract code: jlh3~~

It also includes a subset of 50k entries named novel_cn_token512_50k.json, where both the input and output contain no more than 512 tokens each.

## Example Code
python
from modelscope import MsDataset
from modelscope.utils.constant import DownloadMode

ds = MsDataset.load('AI-ModelScope/webnovel_cn', split='train', download_mode=DownloadMode.FORCE_REDOWNLOAD)
print(next(iter(ds)))

## Sample
Data is generated based on the original novel text following five types of instructions as follows:
The text consists of consecutive randomly selected sentences from the novel.
1. Generate a novel synopsis directly given the title.
2. Generate the opening passage given the title and synopsis.
3. Generate subsequent text given the synopsis and a passage of the novel.
4. Generate subsequent text given the title and a passage of the novel.
5. Generate subsequent text given a passage of the novel.

The standard sample format is as follows:
json
{
"instruction": "string",
"input": "string",
"output": "string"
}

## Data Fields

instruction: Instruction
input: Input
output: Output

## Usage Restrictions
This dataset and derivatives generated using it are only permitted for research purposes. Commercial use or any other use that may cause harm to society is prohibited.
This dataset does not represent the position, interests or opinions of any party, and is unrelated to any type of claim of any organization. The project shall not be liable for any damages or disputes arising from the use of this dataset.

Join group via https://t.me/+JbovpBG6-gBiNDI1

搜集汇总

背景与挑战

背景概述

webnovel_cn是一个用于训练小说生成模型的中文数据集，包含约21.7M条指令和50k条限制长度的子集，支持多种生成任务，仅限研究使用。