Felladrin/ChatML-deita-10k-v0
收藏Hugging Face2024-03-02 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/Felladrin/ChatML-deita-10k-v0
下载链接
链接失效反馈官方服务：
资源简介：
该数据集是一个英语数据集，大小在1K到10K之间，适用于问答和摘要任务。数据集已转换为ChatML格式，并准备好用于HuggingFace TRL的SFT Trainer。
该数据集是一个英语数据集，大小在1K到10K之间，适用于问答和摘要任务。数据集已转换为ChatML格式，并准备好用于HuggingFace TRL的SFT Trainer。
提供机构：
Felladrin
原始信息汇总
数据集概述
基本信息
- 许可证: MIT
- 语言: 英语
- 数据规模: 1K<n<10K
- 任务类别:
- 问答
- 摘要生成
数据格式
- 数据集以ChatML格式提供，适用于HuggingFace TRL的SFT Trainer。
数据处理
- 使用Python代码将数据集转换为特定格式，代码如下：
python from datasets import load_dataset from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("Felladrin/Llama-160M-Chat-v1")
dataset = load_dataset("hkust-nlp/deita-10k-v0", split="train")
def format(columns): messages = []
conversation = columns["conversations"]
for i in range(len(conversation)):
message = conversation[i]
content = message["value"]
role = message["from"]
if role == "human":
role = "user"
elif role == "gpt":
role = "assistant"
if role and content:
messages.append(
{
"role": role.strip(),
"content": content.strip(),
}
)
return { "text": tokenizer.apply_chat_template(messages, tokenize=False) }
dataset.map(format).select_columns([text, id, source]).to_parquet("train.parquet")
