Felladrin/ChatML-oasst2_dpo_pairs_en

该数据集名为sablo/oasst2_dpo_pairs_en，已转换为ChatML格式，适用于HuggingFace TRL的DPO Trainer。数据集包含训练数据，通过Python代码示例展示了如何加载数据集并进行格式化处理。

原始信息汇总

数据集概述

基本信息

• 许可证: Apache-2.0
• 语言: 英语
• 数据规模: 1K<n<10K

数据格式

• 数据集以ChatML格式提供，适用于HuggingFace TRLs DPO Trainer。

数据处理代码

• 数据集加载和格式转换的Python代码如下：

python from datasets import load_dataset from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("Felladrin/Llama-160M-Chat-v1")

dataset = load_dataset("sablo/oasst2_dpo_pairs_en", split="train")

def format(columns): return { "prompt": tokenizer.apply_chat_template(columns["chosen"][:-1], tokenize=False, add_generation_prompt=True), "chosen": f"{columns[chosen][-1][content]}<|im_end|>", "rejected": f"{columns[rejected][-1][content]}<|im_end|>", }

dataset.map(format).select_columns([prompt, chosen, rejected, prompt_id, score_chosen, score_rejected, lang]).to_parquet("train.parquet")