mlabonne/chatml-OpenHermes2.5-dpo-binarized-alpha

这是一个基于argilla/OpenHermes2.5-dpo-binarized-alpha的DPO数据集，名为chatml-OpenHermes2.5-dpo-binarized-alpha。数据集包含四个特征：chosen（选定答案）, rejected（拒绝答案）, question（问题）, 和 delta_score（评分差异）。数据集分为训练集和测试集，训练集有8283个样本，测试集有914个样本。该数据集支持Intel格式，可以直接在Axolotl中使用，并具有过滤低分样本和通过delta_score排序实现课程学习的功能。

---
dataset_info:
数据集信息：
特征：
- 字段名：chosen，数据类型：string
- 字段名：rejected，数据类型：string
- 字段名：question，数据类型：string
- 字段名：delta_score，数据类型：float64
划分：
- 划分名：train，字节数：22068209.02167253，样本数：8283
- 划分名：test，字节数：2398938.493877551，样本数：914
下载大小：14448647，数据集总大小：24467147.51555008
配置：
- 配置名：default，数据文件：
- 划分：train，路径：data/train-*
- 划分：test，路径：data/test-*
---

# chatml-OpenHermes2.5-dpo-binarized-alpha

本数据集属于DPO（Direct Preference Optimization，直接偏好优化）数据集，基于[argilla/OpenHermes2.5-dpo-binarized-alpha](https://huggingface.co/datasets/argilla/OpenHermes2.5-dpo-binarized-alpha)构建，具备以下特性：

* **英特尔格式（Intel format）**：可直接在Axolotl中配合`"type: chatml.intel"`使用该数据集
* **低分样本过滤**：移除了delta_score（得分差值）小于1的样本（训练集共移除530条，测试集移除66条）。
* **课程学习（Curriculum Learning）**：按照`delta_score`列以降序对数据集进行排序。

## 💻 复现代码

python
!pip install -qqq datasets # 静默安装datasets库

from transformers import AutoTokenizer
from datasets import load_dataset
import pandas as pd

# 加载原始数据集
dataset = load_dataset('argilla/OpenHermes2.5-dpo-binarized-alpha')

def chatml_format(example):
# 格式化用户指令
message = {"role": "user", "content": example['input']}
input = tokenizer.apply_chat_template([message], tokenize=False, add_generation_prompt=False)

# 格式化选中回复
chosen = tokenizer.apply_chat_template(example['chosen'], tokenize=False, add_generation_prompt=False)[len(input) + len("<|im_start|>assistant "):-len("<|im_end|> ")]

# 格式化拒绝回复
rejected = tokenizer.apply_chat_template(example['rejected'], tokenize=False, add_generation_prompt=False)[len(input) + len("<|im_start|>assistant "):-len("<|im_end|> ")]

# 计算得分差值
delta_score = abs(example['rating'][0] - example['rating'][1])

return {
"question": example["input"],
"chosen": chosen,
"rejected": rejected,
"delta_score": delta_score,
}

# 加载ChatML格式分词器
model_name = "mlabonne/NeuralHermes-2.5-Mistral-7B"
tokenizer = AutoTokenizer.from_pretrained(model_name)

# 格式化数据集
dataset_chatml = dataset.map(
chatml_format,
remove_columns=['input', 'conversations', 'generation_model',
'generation_prompt', 'raw_generation_responses', 'generations',
'views', 'system_prompt', 'model_name', 'language', 'id', 'hash',
'model', 'avatarUrl', 'custom_instruction', 'topic', 'title',
'idx', 'rejected_score', 'chosen_score', 'source',
'skip_prompt_formatting', 'category', 'rating', 'chosen_model',
'rejected_model']
)

# 移除低得分差值的样本
dataset_chatml = dataset_chatml.filter(lambda x: x["delta_score"] > 1.0)

# 按照`delta_score`列以降序排序数据集
dataset_chatml = dataset_chatml.sort('delta_score', reverse=True)

# 查看训练集第11个样本（索引从0开始计数）
pd.DataFrame(dataset_chatml['train']).iloc[10]

原始信息汇总

数据集概述

数据集名称

• 名称: chatml-OpenHermes2.5-dpo-binarized-alpha

数据集特征

• 特征列表:
  • chosen: 数据类型为字符串
  • rejected: 数据类型为字符串
  • question: 数据类型为字符串
  • delta_score: 数据类型为浮点数（float64）

数据集分割

• 训练集:
  • 示例数量: 8283
  • 存储大小: 22068209.02167253字节
• 测试集:
  • 示例数量: 914
  • 存储大小: 2398938.493877551字节

数据集大小

• 下载大小: 14448647字节
• 数据集总大小: 24467147.51555008字节

配置信息

• 默认配置:
  • 训练数据路径: data/train-*
  • 测试数据路径: data/test-*