Felladrin/ChatML-oasst2_curated
收藏Hugging Face2024-02-21 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/Felladrin/ChatML-oasst2_curated
下载链接
链接失效反馈官方服务：
资源简介：
oasst2_curated数据集是一个包含1K到10K条记录的英语聊天数据集，采用ChatML格式，适用于HuggingFace TRL的SFT Trainer。数据集通过特定的tokenizer处理，将消息转换并保存为parquet格式，遵循apache-2.0许可证。
oasst2_curated数据集是一个包含1K到10K条记录的英语聊天数据集，采用ChatML格式，适用于HuggingFace TRL的SFT Trainer。数据集通过特定的tokenizer处理，将消息转换并保存为parquet格式，遵循apache-2.0许可证。
提供机构：
Felladrin
原始信息汇总
数据集概述
基本信息
- 许可证: Apache 2.0
- 语言: 英语
- 数据规模: 1K<n<10K
数据集描述
- 名称: sablo/oasst2_curated
- 格式: ChatML
- 用途: 适用于HuggingFace TRL的SFT Trainer
数据转换代码
python from datasets import load_dataset from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("Felladrin/Llama-160M-Chat-v1")
dataset = load_dataset("sablo/oasst2_curated", split="train")
def format(columns): return { "text": tokenizer.apply_chat_template(columns["messages"], tokenize=False) }
dataset.map(format).select_columns([text]).to_parquet("train.parquet")
