when2rl/mt_bench_human_judgments_reformatted

---
dataset_info:
features:
- name: prompt
dtype: string
- name: prompt_id
dtype: string
- name: chosen
list:
- name: content
dtype: string
- name: role
dtype: string
- name: rejected
list:
- name: content
dtype: string
- name: role
dtype: string
- name: messages
list:
- name: content
dtype: string
- name: role
dtype: string
- name: score_chosen
dtype: float64
- name: score_rejected
dtype: float64
- name: other_info
struct:
- name: judge
dtype: string
- name: model_a
dtype: string
- name: model_b
dtype: string
- name: question_id
dtype: int64
- name: winner
dtype: string
splits:
- name: train_human
num_bytes: 12237070
num_examples: 2129
- name: test_human
num_bytes: 12237070
num_examples: 2129
- name: train_gpt4_pair
num_bytes: 13750311
num_examples: 2353
- name: test_gpt4_pair
num_bytes: 13750311
num_examples: 2353
download_size: 4334198
dataset_size: 51974762
configs:
- config_name: default
data_files:
- split: train_human
path: data/train_human-*
- split: test_human
path: data/test_human-*
- split: train_gpt4_pair
path: data/train_gpt4_pair-*
- split: test_gpt4_pair
path: data/test_gpt4_pair-*
---

# Dataset Card for when2rl/mt_bench_human_judgments_reformatted

<!-- Provide a quick summary of the dataset. -->

Reformatted and deduped (e.g., alpaca13b vs gpt4 may have the same answer pair as alpaca13b vs gpt-3.5-turbo for some questions) from `lmsys/mt_bench_human_judgments`. This can be used as a quick evaluation metric to "measure" MT-bench performance during training.

Note the split names are converted to `train_` and `test_`. Although the `train_` splits will NOT be used to train anything, this split name makes some data processing/scripts easier.

## Dataset Details

### Dataset Description

<!-- Provide a longer summary of what this dataset is. -->

- **Curated by:** [More Information Needed]
- **Funded by [optional]:** [More Information Needed]
- **Shared by [optional]:** [More Information Needed]
- **Language(s) (NLP):** [More Information Needed]
- **License:** [More Information Needed]

### Dataset Sources [optional]

<!-- Provide the basic links for the dataset. -->

- **Repository:** [More Information Needed]
- **Paper [optional]:** [More Information Needed]
- **Demo [optional]:** [More Information Needed]

## Uses

<!-- Address questions around how the dataset is intended to be used. -->

### Direct Use

<!-- This section describes suitable use cases for the dataset. -->

[More Information Needed]

### Out-of-Scope Use

<!-- This section addresses misuse, malicious use, and uses that the dataset will not work well for. -->

[More Information Needed]

## Dataset Structure

<!-- This section provides a description of the dataset fields, and additional information about the dataset structure such as criteria used to create the splits, relationships between data points, etc. -->

[More Information Needed]

## Dataset Creation

### Curation Rationale

<!-- Motivation for the creation of this dataset. -->

[More Information Needed]

### Source Data

<!-- This section describes the source data (e.g. news text and headlines, social media posts, translated sentences, ...). -->

#### Data Collection and Processing

<!-- This section describes the data collection and processing process such as data selection criteria, filtering and normalization methods, tools and libraries used, etc. -->

[More Information Needed]

#### Who are the source data producers?

<!-- This section describes the people or systems who originally created the data. It should also include self-reported demographic or identity information for the source data creators if this information is available. -->

[More Information Needed]

### Annotations [optional]

<!-- If the dataset contains annotations which are not part of the initial data collection, use this section to describe them. -->

#### Annotation process

<!-- This section describes the annotation process such as annotation tools used in the process, the amount of data annotated, annotation guidelines provided to the annotators, interannotator statistics, annotation validation, etc. -->

[More Information Needed]

#### Who are the annotators?

<!-- This section describes the people or systems who created the annotations. -->

[More Information Needed]

#### Personal and Sensitive Information

<!-- State whether the dataset contains data that might be considered personal, sensitive, or private (e.g., data that reveals addresses, uniquely identifiable names or aliases, racial or ethnic origins, sexual orientations, religious beliefs, political opinions, financial or health data, etc.). If efforts were made to anonymize the data, describe the anonymization process. -->

[More Information Needed]

## Bias, Risks, and Limitations

<!-- This section is meant to convey both technical and sociotechnical limitations. -->

[More Information Needed]

### Recommendations

<!-- This section is meant to convey recommendations with respect to the bias, risk, and technical limitations. -->

Users should be made aware of the risks, biases and limitations of the dataset. More information needed for further recommendations.

## Citation [optional]

<!-- If there is a paper or blog post introducing the dataset, the APA and Bibtex information for that should go in this section. -->

**BibTeX:**

[More Information Needed]

**APA:**

[More Information Needed]

## Glossary [optional]

<!-- If relevant, include terms and calculations in this section that can help readers understand the dataset or dataset card. -->

[More Information Needed]

## More Information [optional]

[More Information Needed]

## Dataset Card Authors [optional]

[More Information Needed]

## Dataset Card Contact

[More Information Needed]

数据集信息：
特征：
- 名称：prompt
数据类型：字符串
- 名称：prompt_id
数据类型：字符串
- 名称：chosen
类型：列表
- 子字段：content
数据类型：字符串
- 子字段：role
数据类型：字符串
- 名称：rejected
类型：列表
- 子字段：content
数据类型：字符串
- 子字段：role
数据类型：字符串
- 名称：messages
类型：列表
- 子字段：content
数据类型：字符串
- 子字段：role
数据类型：字符串
- 名称：score_chosen
数据类型：64位浮点数（float64）
- 名称：score_rejected
数据类型：64位浮点数（float64）
- 名称：other_info
类型：结构体
- 子字段：judge
数据类型：字符串
- 子字段：model_a
数据类型：字符串
- 子字段：model_b
数据类型：字符串
- 子字段：question_id
数据类型：64位整数（int64）
- 子字段：winner
数据类型：字符串
划分集：
- 名称：train_human
字节数：12237070
样本数量：2129
- 名称：test_human
字节数：12237070
样本数量：2129
- 名称：train_gpt4_pair
字节数：13750311
样本数量：2353
- 名称：test_gpt4_pair
字节数：13750311
样本数量：2353
下载大小：4334198
数据集总大小：51974762
配置项：
- 配置名称：default
数据文件：
- 划分集：train_human
路径：data/train_human-*
- 划分集：test_human
路径：data/test_human-*
- 划分集：train_gpt4_pair
路径：data/train_gpt4_pair-*
- 划分集：test_gpt4_pair
路径：data/test_gpt4_pair-*

---

# 针对 when2rl/mt_bench_human_judgments_reformatted 的数据集卡片

本数据集源自`lmsys/mt_bench_human_judgments`，经重新格式化与去重处理（例如，针对部分问题，alpaca13b 与 GPT-4 的答案对，可能与 alpaca13b 与 GPT-3.5-turbo 的答案对完全一致）。该数据集可作为一项便捷的评估指标，用于在模型训练过程中“量化”MT-bench 的性能表现。

请注意，本次划分集名称被统一转换为`train_`与`test_`前缀。尽管`train_`划分集实际并不会用于模型训练，但该命名方式可简化部分数据处理流程与脚本编写工作。

## 数据集详情

### 数据集描述

- **整理者：** [需补充更多信息]
- **资助方（可选）：** [需补充更多信息]
- **共享方（可选）：** [需补充更多信息]
- **自然语言处理所用语言：** [需补充更多信息]
- **许可证：** [需补充更多信息]

### 数据集来源（可选）

- **仓库：** [需补充更多信息]
- **论文（可选）：** [需补充更多信息]
- **演示（可选）：** [需补充更多信息]

## 使用场景

### 直接使用场景

[需补充更多信息]

### 超出适用范围的使用

本节说明误用、恶意使用，以及本数据集无法适配的使用场景：[需补充更多信息]

## 数据集结构

本节提供数据集各字段的详细说明，以及数据集划分的依据、数据点间的关联关系等结构相关信息：[需补充更多信息]

## 数据集创建

### 整理动机

说明创建本数据集的初衷：[需补充更多信息]

### 源数据

本节描述源数据（例如：新闻文本与标题、社交媒体帖子、翻译后的语句等）。

#### 数据收集与处理流程

本节描述数据收集与处理过程，包括数据选择标准、过滤与归一化方法、所用工具与库等：[需补充更多信息]

#### 源数据生产者

本节描述原始创建数据的个人或系统。若可获取，还应包含源数据创建者的自我报告人口统计或身份信息：[需补充更多信息]

### 标注（可选）

若数据集包含非初始数据收集阶段生成的标注，请在本节描述标注相关信息。

#### 标注流程

本节描述标注过程，包括标注所用工具、标注数据量、提供给标注者的标注指南、标注者间一致性统计、标注验证等：[需补充更多信息]

#### 标注者

本节描述创建标注的个人或系统：[需补充更多信息]

#### 个人与敏感信息

说明数据集是否包含可被视为个人、敏感或隐私的数据（例如：揭示地址、唯一可识别的姓名或别名、种族或族裔起源、性取向、宗教信仰、政治观点、财务或健康数据等）。若已对数据进行匿名化处理，请描述匿名化流程：[需补充更多信息]

## 偏差、风险与局限性

本节旨在说明技术与社会技术层面的局限性：[需补充更多信息]

### 建议

本节旨在针对数据集的偏差、风险与技术局限性给出建议：用户应充分知晓本数据集存在的风险、偏差与局限性。相关进一步建议尚需补充更多信息。

## 引用（可选）

**BibTeX 格式：**

[需补充更多信息]

**APA 格式：**

[需补充更多信息]

## 术语表（可选）

若有需要，可在此处列出可帮助读者理解数据集或数据集卡片的术语与计算方法：[需补充更多信息]

## 更多信息（可选）

[需补充更多信息]

## 数据集卡片作者（可选）

[需补充更多信息]

## 数据集卡片联系人

[需补充更多信息]

原始信息汇总

数据集概述

数据集名称

when2rl/mt_bench_human_judgments_reformatted

数据集特征

• prompt (字符串)
• prompt_id (字符串)
• chosen (列表)
  • content (字符串)
  • role (字符串)
• rejected (列表)
  • content (字符串)
  • role (字符串)
• messages (列表)
  • content (字符串)
  • role (字符串)
• score_chosen (浮点数)
• score_rejected (浮点数)
• other_info (结构体)
  • judge (字符串)
  • model_a (字符串)
  • model_b (字符串)
  • question_id (整数)
  • winner (字符串)

数据集分割

• train_human
  • num_bytes: 12237070
  • num_examples: 2129
• test_human
  • num_bytes: 12237070
  • num_examples: 2129
• train_gpt4_pair
  • num_bytes: 13750311
  • num_examples: 2353
• test_gpt4_pair
  • num_bytes: 13750311
  • num_examples: 2353

数据集大小

• download_size: 4334198
• dataset_size: 51974762

配置

• config_name: default
• data_files:
  • split: train_human, test_human, train_gpt4_pair, test_gpt4_pair
  • path: data/train_human-, data/test_human-, data/train_gpt4_pair-, data/test_gpt4_pair-

搜集汇总

背景与挑战

背景概述

该数据集是从lmsys/mt_bench_human_judgments重新格式化和去重而来，包含人类和GPT-4生成的对话对，用于评估语言模型在MT-bench任务上的性能。数据集结构包括prompt、chosen和rejected回答对、评分及其他元信息，分为train_human、test_human、train_gpt4_pair和test_gpt4_pair四个分割，总示例数约为9,000条，主要用于训练期间快速评估模型表现，但train分割不用于实际训练。