victor/LMSYS-Chat-GPT-5-Chat-Response

---
license: cc-by-4.0
dataset_info:
features:
- name: id
dtype: string
- name: content
list:
- name: content
dtype: string
- name: role
dtype: string
- name: teacher_response
dtype: string
- name: category
dtype: string
- name: grounded
dtype: bool
- name: flaw
dtype: string
- name: agreement
dtype: bool
splits:
- name: train
num_bytes: 366402830
num_examples: 192014
- name: test
num_bytes: 927010
num_examples: 479
download_size: 204423827
dataset_size: 367329840
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
- split: test
path: data/test-*
---

# 🤖 LMSYS-Chat-GPT-5-Chat-Response

- The dataset used in [Black-Box On-Policy Distillation of Large Language Models](https://arxiv.org/abs/2511.10643) paper. Homepage at [here](https://ytianzhu.github.io/Generative-Adversarial-Distillation/).
- This dataset is an extension of the [LMSYS-Chat-1M-Clean](https://huggingface.co/datasets/OpenLeecher/lmsys_chat_1m_clean) corpus, specifically curated by collecting high-quality, non-refusal responses from the **GPT-5-Chat API**.
- The [LMSYS-Chat-1M](https://huggingface.co/datasets/lmsys/lmsys-chat-1m) dataset collects real-world user queries from the [Chatbot Arena](https://lmarena.ai/).
- There is **no** tool calls or reasoning in the GPT-5-Chat response.

## 💾 Dataset Structure

The dataset contains the following splits and columns:

| Split Name | Number of Examples | Description |
| :--- | :--- | :--- |
| `train` | Around 200,000 | Train set |
| `test` | Around 500 | Test set |

| Column Name | Data Type | Description |
| :--- | :--- | :--- |
| `content` | `string` | The original user prompt/question from the LMSYS-Chat dataset |
| `teacher_response` | `string` | The response generated by the GPT-5-Chat API |

## 📊 Diversity of Categories

The underlying LMSYS-Chat dataset contains a wide and realistic range of user intentions.

The categories present in the data include:

| Type of Task/Query | | | | |
| :--- | :--- | :--- | :--- | :--- |
| **Code** | `coding` | `debugging` | `translation` | |
| **Logic/Reasoning** | `logical reasoning` | `spatial reasoning` | `pattern recognition` | `debating` |
| **Instruction Following** | `instruction following` | `specific format writing` | `information extraction` | `summarization` |
| **Creative/Writing** | `creative writing` | `copywriting` | `roleplaying` | `text completion` |
| **Analysis** | `sentiment analysis` | `text comparison` | `text classification` | `explanation` |
| **General** | `question answering` | `free-form chat` | `trivia` | `brainstorming` |
| **Math & Planning** | `math` | `planning and scheduling` | | |
| **Editing/Correction** | `proofreading` | `paraphrasing` | `text manipulation` | |
| **Ethics** | `ethical reasoning` | | | |
| **Other** | `tutorial` | `question generation` | | |

## 📄 Citation

If you find this work useful, please cite our paper:

```bibtex
@article{ye2025blackboxonpolicydistillationlarge,
title={Black-Box On-Policy Distillation of Large Language Models},
author={Tianzhu Ye and Li Dong and Zewen Chi and Xun Wu and Shaohan Huang and Furu Wei},
journal={arXiv preprint arXiv:2511.10643},
year={2025},
url={https://arxiv.org/abs/2511.10643}
}
```

许可证：CC BY 4.0
数据集信息：
特征：
- 名称：id，数据类型：字符串（string）
- 名称：content，数据类型：列表（list），包含两个子特征：
* 子特征1：content，数据类型：字符串（string）
* 子特征2：role，数据类型：字符串（string）
- 名称：teacher_response，数据类型：字符串（string）
- 名称：category，数据类型：字符串（string）
- 名称：grounded，数据类型：布尔值（bool）
- 名称：flaw，数据类型：字符串（string）
- 名称：agreement，数据类型：布尔值（bool）
拆分集：
- 名称：train（训练集），字节数：366402830，样本数：192014
- 名称：test（测试集），字节数：927010，样本数：479
下载大小：204423827，数据集总大小：367329840
配置：
- 配置名称：default，数据文件：
* 拆分训练集：路径为data/train-*
* 拆分测试集：路径为data/test-*

# 🤖 LMSYS-Chat-GPT-5-Chat 数据集

本数据集为论文《大语言模型的黑盒在线策略蒸馏》（Black-Box On-Policy Distillation of Large Language Models，arXiv:2511.10643）所使用的数据集，其项目主页详见[此处](https://ytianzhu.github.io/Generative-Adversarial-Distillation/)。

本数据集是[LMSYS-Chat-1M-Clean](https://huggingface.co/datasets/OpenLeecher/lmsys_chat_1m_clean)语料库的扩展版本，通过采集**GPT-5-Chat API**生成的高质量、无拒答响应进行定制构建。

[LMSYS-Chat-1M](https://huggingface.co/datasets/lmsys/lmsys-chat-1m)数据集采集了来自[Chatbot Arena](https://lmarena.ai/)的真实用户查询。

GPT-5-Chat生成的响应中**不包含**工具调用与逻辑推理内容。

## 💾 数据集结构

本数据集包含如下拆分与字段：

| 拆分名称 | 样本数量 | 说明 |
| :--- | :--- | :--- |
| `train` | 约20万 | 训练集 |
| `test` | 约500 | 测试集 |

| 字段名称 | 数据类型 | 说明 |
| :--- | :--- | :--- |
| `content` | 字符串（string） | 源自LMSYS-Chat数据集的原始用户提示/查询 |
| `teacher_response` | 字符串（string） | GPT-5-Chat API生成的响应内容 |

## 📊 类别多样性

其依托的LMSYS-Chat数据集涵盖了广泛且贴合真实场景的用户意图类型。

数据集中包含的类别如下：

| 任务/查询类型 | | | | |
| :--- | :--- | :--- | :--- | :--- |
| **代码类** | `coding`（代码编写） | `debugging`（代码调试） | `translation`（翻译） | |
| **逻辑推理类** | `logical reasoning`（逻辑推理） | `spatial reasoning`（空间推理） | `pattern recognition`（模式识别） | `debating`（辩论） |
| **指令遵循类** | `instruction following`（指令遵循） | `specific format writing`（特定格式写作） | `information extraction`（信息抽取） | `summarization`（摘要生成） |
| **创意写作类** | `creative writing`（创意写作） | `copywriting`（文案撰写） | `roleplaying`（角色扮演） | `text completion`（文本补全） |
| **分析类** | `sentiment analysis`（情感分析） | `text comparison`（文本比对） | `text classification`（文本分类） | `explanation`（解释说明） |
| **通用类** | `question answering`（问答） | `free-form chat`（自由闲聊） | `trivia`（常识问答） | `brainstorming`（头脑风暴） |
| **数学与规划类** | `math`（数学问题） | `planning and scheduling`（规划与调度） | | |
| **编辑校正类** | `proofreading`（校对） | `paraphrasing`（释义改写） | `text manipulation`（文本处理） | |
| **伦理类** | `ethical reasoning`（伦理推理） | | | |
| **其他类** | `tutorial`（教程指导） | `question generation`（问题生成） | | |

## 📄 引用声明

若您认为本工作对您有所帮助，请引用如下论文：

bibtex
@article{ye2025blackboxonpolicydistillationlarge,
title={Black-Box On-Policy Distillation of Large Language Models},
author={Tianzhu Ye and Li Dong and Zewen Chi and Xun Wu and Shaohan Huang and Furu Wei},
journal={arXiv preprint arXiv:2511.10643},
year={2025},
url={https://arxiv.org/abs/2511.10643}
}