Felladrin/pretrain-reddit-instruct
收藏Hugging Face2024-01-20 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/Felladrin/pretrain-reddit-instruct
下载链接
链接失效反馈官方服务：
资源简介：
该数据集是从euclaise/reddit-instruct转换而来，主要用于预训练。转换过程包括加载原始数据集，对评论文本进行格式化，并保存为CSV文件。
该数据集是从euclaise/reddit-instruct转换而来，主要用于预训练。转换过程包括加载原始数据集，对评论文本进行格式化，并保存为CSV文件。
提供机构：
Felladrin
原始信息汇总
数据集概述
数据集来源
- 原始数据集：euclaise/reddit-instruct
数据集用途
- 用于预训练（pretraining）
数据转换代码
python from datasets import load_dataset import pandas import html
dataset = load_dataset("euclaise/reddit-instruct", split="train")
def format(columns): return html.unescape(columns["comment_text"].strip())
pandas.DataFrame({"text": [format(columns) for columns in dataset]}).to_csv("train.csv", index=False)
