sumuks/helpsteer3-dpo-style

---
pretty_name: HelpSteer3 DPO Style
language:
- en
- zh
- ko
- fr
- es
- ru
- ja
- de
- it
- pt
- pl
- id
- nl
- vi
license: cc-by-4.0
task_categories:
- text-generation
tags:
- dpo
- preference-optimization
- human-feedback
- reward-modeling
- helpsteer
- nvidia
size_categories:
- 10K<n<100K
configs:
- config_name: default
data_files:
- split: train
path: train-00000-of-00001.parquet
- split: test
path: test-00000-of-00001.parquet
---

# Dataset Card for HelpSteer3 DPO Style

## Dataset Summary

This dataset is derived from `nvidia/HelpSteer3` using the `preference` config.
Each source row contains a chat-style `context`, two candidate responses, and a signed `overall_preference` score.
This conversion keeps only strong preferences with `abs(overall_preference) >= 2` and maps them into DPO-style `chosen` and `rejected` rows.

The original HelpSteer3 `validation` split is written as `test` here to match the train/test convention used elsewhere in this repo.

## Dataset Structure

- Train source rows: 38459
- Test source rows: 2017
- Train DPO rows: 23959
- Test DPO rows: 1288
- Total DPO rows: 25247
- Dropped weak-preference rows: 15229

Each row contains these key fields:

- `prompt`: Rendered conversation transcript from the source `context`.
- `chosen`: Preferred assistant response chosen from `response1` or `response2`.
- `rejected`: Less-preferred assistant response chosen from the other source response.
- `difficulty`: `1 / abs(overall_preference)`, so `0.5` for `±2` and `0.333...` for `±3`.

## Construction Notes

- Negative `overall_preference` values mean `response1` is preferred.
- Positive `overall_preference` values mean `response2` is preferred.
- Rows with scores `-1`, `0`, and `1` are dropped as too weak for this dataset.
- Difficulty uses the absolute preference value because the sign only indicates which side won, not how hard the pair is.
- No prompt-level regrouping is needed because HelpSteer3 already ships train and validation splits.

---
pretty_name: HelpSteer3 DPO风格
language:
- 英语
- 中文
- 韩语
- 法语
- 西班牙语
- 俄语
- 日语
- 德语
- 意大利语
- 葡萄牙语
- 波兰语
- 印尼语
- 荷兰语
- 越南语
license: 知识共享署名4.0（CC BY 4.0）
task_categories:
- 文本生成
tags:
- DPO（Direct Preference Optimization）
- 偏好优化
- 人类反馈
- 奖励建模
- HelpSteer3
- 英伟达（NVIDIA）
size_categories:
- 10000 < n < 100000
configs:
- config_name: 默认
data_files:
- split: 训练集
path: train-00000-of-00001.parquet
- split: 测试集
path: test-00000-of-00001.parquet
---

# HelpSteer3 DPO风格数据集卡片

## 数据集概述

本数据集源自`英伟达（NVIDIA）/HelpSteer3`，通过`preference`配置生成。每条原始源数据行均包含对话式`上下文（context）`、两条候选回复以及带符号的`整体偏好评分（overall_preference）`。本次转换仅保留`整体偏好评分（overall_preference）绝对值≥2`的强偏好样本，并将其映射为符合DPO（Direct Preference Optimization）格式的`选中（chosen）`与`拒选（rejected）`数据行。

原HelpSteer3的`验证集（validation）`拆分在本数据集中被命名为`测试集（test）`，以匹配本仓库其他模块采用的训练/测试拆分惯例。

## 数据集结构

- 训练源数据行：38459条
- 测试源数据行：2017条
- 训练DPO格式数据行：23959条
- 测试DPO格式数据行：1288条
- DPO格式总数据行：25247条
- 过滤掉的弱偏好数据行：15229条

每条数据行包含以下关键字段：
- `prompt`：源自原始`上下文`的格式化对话文本。
- `chosen`：从`response1`或`response2`中选出的最优助手回复。
- `rejected`：来自另一候选回复的次优助手回复。
- `difficulty`：计算公式为`1 / abs(整体偏好评分（overall_preference）)`，例如评分为±2时难度值为0.5，评分为±3时难度值为0.333...。

## 构建说明

- 当`整体偏好评分（overall_preference）`为负值时，表示`response1`为更优回复。
- 当`整体偏好评分（overall_preference）`为正值时，表示`response2`为更优回复。
- 评分为-1、0或1的样本因偏好强度过弱，已被过滤出本数据集。
- 难度计算采用偏好评分的绝对值，因为评分符号仅用于指示哪条回复更优，而非衡量该样本的难度。
- 无需对`prompt`进行分组重构，因为原HelpSteer3数据集已自带训练与验证拆分。