mrfakename/Pure-Dove-ShareGPT
收藏Hugging Face2024-03-26 更新2024-06-11 收录
下载链接:
https://hf-mirror.com/datasets/mrfakename/Pure-Dove-ShareGPT
下载链接
链接失效反馈官方服务:
资源简介:
---
license: apache-2.0
---
It's https://huggingface.co/datasets/LDJnr/Pure-Dove but in the ShareGPT format!
Easily load in Axolotl by setting the type to ShareGPT
Convert @LDJnr datasets to ShareGPT using this script:
```python
import json
with open('ds.jsonl') as f:
lines = f.read().strip().splitlines()
cvs = []
for line in lines:
convos = json.loads(line)['conversation']
cv = []
for convo in convos:
cv.append({
'from': 'human',
'value': convo['input']
})
cv.append({
'from': 'gpt',
'value': convo['output']
})
cvs.append({
'conversations': cv
})
with open('outputs.json', 'w') as f:
f.write(json.dumps(cvs))
```
提供机构:
mrfakename
原始信息汇总
数据集概述
数据集名称
- Pure-Dove
数据集来源
- 来源链接:https://huggingface.co/datasets/LDJnr/Pure-Dove
许可证
- Apache-2.0
数据集格式转换
- 提供了一个Python脚本,用于将原始数据集格式转换为ShareGPT格式。该脚本读取JSONL格式的数据集文件,解析其中的对话内容,并重新组织为ShareGPT格式的JSON文件。



