mlabonne/chatml_dpo_pairs

ChatML DPO Pairs数据集是Intel/orca_dpo_pairs数据集的预处理版本，使用了ChatML格式。该数据集包含来自Open-Orca/OpenOrca的12k个示例，这些示例是基于Orca风格的数据集。数据集的预处理过程包括将系统消息、用户指令、选择的答案和拒绝的答案格式化为ChatML格式。

原始信息汇总

ChatML DPO Pairs 数据集概述

数据集来源

• 该数据集是基于 Intel/orca_dpo_pairs 的预处理版本，使用了 ChatML 格式。

数据内容

• 数据集包含 12,000 个示例，源自 Orca 风格的 Open-Orca/OpenOrca 数据集。

预处理方法

• 预处理代码如下： python def chatml_format(example): # Format system if len(example[system]) > 0: message = {"role": "system", "content": example[system]} system = tokenizer.apply_chat_template([message], tokenize=False) else: system = ""

  # Format instruction
  message = {"role": "user", "content": example[question]}
  prompt = tokenizer.apply_chat_template([message], tokenize=False, add_generation_prompt=True)
  
  # Format chosen answer
  chosen = example[chatgpt] + "<|im_end|>
  

"

  # Format rejected answer
  rejected = example[llama2-13b-chat] + "<|im_end|>

"

  return {
      "prompt": system + prompt,
      "chosen": chosen,
      "rejected": rejected,
  }

Load dataset

dataset = load_dataset("Intel/orca_dpo_pairs")[train]

Save columns

original_columns = dataset.column_names

Tokenizer

tokenizer = AutoTokenizer.from_pretrained("teknium/OpenHermes-2.5-Mistral-7B") tokenizer.pad_token = tokenizer.eos_token tokenizer.padding_side = "left"

Format dataset

dataset = dataset.map( chatml_format, remove_columns=original_columns )