Felladrin/pretrain-webglm-qa
收藏Hugging Face2024-02-09 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/Felladrin/pretrain-webglm-qa
下载链接
链接失效反馈官方服务：
资源简介：
---
language:
- en
license: apache-2.0
source_datasets:
- THUDM/webglm-qa
---
Conversion of [THUDM/webglm-qa](https://huggingface.co/datasets/THUDM/webglm-qa) dataset to be used in pretraining.
Python code used for conversion:
```python
from datasets import load_dataset
import pandas
import re
dataset = load_dataset("THUDM/webglm-qa", split="train")
def format(columns):
return re.sub(r'\[\d\]', '', columns["answer"].strip())
pandas.DataFrame({"text": [format(columns) for columns in dataset]}).to_csv("train.csv", index=False)
```
提供机构：
Felladrin
原始信息汇总
数据集概述
基本信息
- 语言: 英语
- 许可证: Apache 2.0
- 源数据集: THUDM/webglm-qa
数据集转换
-
目的: 用于预训练
-
转换代码: python from datasets import load_dataset import pandas import re
dataset = load_dataset("THUDM/webglm-qa", split="train")
def format(columns): return re.sub(r[d], , columns["answer"].strip())
pandas.DataFrame({"text": [format(columns) for columns in dataset]}).to_csv("train.csv", index=False)
