Columbia-NLP/ruozhiba_en

---
dataset_info:
features:
- name: source
dtype: string
- name: instruction
dtype: string
- name: messages
list:
- name: content
dtype: string
- name: role
dtype: string
- name: followup_question
dtype: string
- name: model
dtype: string
splits:
- name: train_sft
num_bytes: 954797
num_examples: 238
download_size: 548182
dataset_size: 954797
configs:
- config_name: default
data_files:
- split: train_sft
path: data/train_sft-*
size_categories:
- n<1K
---

# Ruozhiba English Data

Based on the findings from [COIG-CQIA](https://arxiv.org/html/2403.18058v1), Ruozhiba data is a high-quality instruction tuning dataset that can greatly improve supervised fine-tuning models' performance.
We translated the 240 instructions in Ruozhiba from Chinese to English.
We filtered out and modified some instructions are language/cultural related.
Some Chinese instructions are kept to maintain their original meaning.
Finally, we re-generate the response using `gpt-4-turbo` and add one additional turn to improve robustness.

## MT-Bench

We use GPT-4-0125-preview as Judge. On MT-Bench, [ruozhiba_en](https://huggingface.co/datasets/qywu/ruozhiba_en) data has achieved comparable performance compared to [ultrachat_200k](https://huggingface.co/datasets/HuggingFaceH4/ultrachat_200k) dataset.

| Model | Total | Coding | Extraction | Humanities | Math | Reasoning | Roleplay | STEM | Writing |
|--------------------------------------------|-------|--------|------------|------------|------|-----------|----------|------|---------|
| alignment-handbook/zephyr-7b-sft-full | 5.6 | 3.95 | 6.75 | 7.5 | 3.1 | 4.05 | 6.15 | 6.1 | 7.2 |
| zephyr-7b-sft-ruozhiba | 5.88 | 3.75 | 6.45 | 8.11 | 2.7 | 4.2 | 7.4 | 7.4 | 7.15 |

数据集信息：
特征：
- 名称：source，数据类型：字符串（string）
- 名称：instruction，数据类型：字符串
- 名称：messages，为列表类型，包含两个子特征：
- 名称：content，数据类型：字符串
- 名称：role，数据类型：字符串
- 名称：followup_question，数据类型：字符串
- 名称：model，数据类型：字符串
划分集：
- 名称：train_sft，字节数：954797，样本数：238
下载大小：548182，数据集总大小：954797
配置：
- 配置名称：default，数据文件：
- 划分集：train_sft，路径：data/train_sft-*
规模类别：
- 样本数少于1000（n<1K）

# 弱智吧英文数据集（Ruozhiba English Data）

基于[COIG-CQIA](https://arxiv.org/html/2403.18058v1)的研究结论，弱智吧数据集（Ruozhiba Data）是一款高质量指令微调数据集，可显著提升监督微调（Supervised Fine-Tuning，SFT）模型的性能。
我们将弱智吧数据集中的240条指令从中文译为英文。
我们筛选并优化了部分涉及语言与文化差异的指令。
我们保留了部分中文指令以确保其原意不变。
最终，我们使用`GPT-4 Turbo`（gpt-4-turbo）重新生成了回复，并新增一轮对话以提升模型鲁棒性（robustness）。

## MT-Bench评测

我们以GPT-4-0125-preview作为评测法官。在MT-Bench评测中，[ruozhiba_en](https://huggingface.co/datasets/qywu/ruozhiba_en)数据集的性能表现可与[ultrachat_200k](https://huggingface.co/datasets/HuggingFaceH4/ultrachat_200k)数据集相媲美。

| 模型名称 | 总评分 | 编码任务 | 信息抽取 | 人文社科 | 数学 | 推理能力 | 角色扮演 | 科学、技术、工程与数学（STEM） | 写作任务 |
|--------------------------------------------|-------|--------|------------|------------|------|-----------|----------|--------------------------------|----------|
| alignment-handbook/zephyr-7b-sft-full | 5.6 | 3.95 | 6.75 | 7.5 | 3.1 | 4.05 | 6.15 | 6.1 | 7.2 |
| zephyr-7b-sft-ruozhiba | 5.88 | 3.75 | 6.45 | 8.11 | 2.7 | 4.2 | 7.4 | 7.4 | 7.15 |

原始信息汇总

Ruozhiba English Data

数据集信息

特征

• source: 字符串类型
• instruction: 字符串类型
• messages: 列表类型
  • content: 字符串类型
  • role: 字符串类型
• followup_question: 字符串类型
• model: 字符串类型

分割

• train_sft:
  • 字节数: 954797
  • 样本数: 238

大小

• 下载大小: 548182 字节
• 数据集大小: 954797 字节

配置

• default:
  • 数据文件:
    • train_sft: 路径为 data/train_sft-*

大小分类

• n<1K

数据集描述

Ruozhiba数据集是一个高质量的指令调优数据集，基于COIG-CQIA的研究成果，能够显著提升监督微调模型的性能。该数据集将240条指令从中文翻译为英文，并进行了语言和文化相关的筛选和修改。部分中文指令保持原意。最后，使用gpt-4-turbo重新生成响应，并增加了一轮对话以提高鲁棒性。

MT-Bench

在MT-Bench上，使用GPT-4-0125-preview作为评判标准，ruozhiba_en数据集与ultrachat_200k数据集相比，取得了相当的性能。

模型	Total	Coding	Extraction	Humanities	Math	Reasoning	Roleplay	STEM	Writing
alignment-handbook/zephyr-7b-sft-full	5.6	3.95	6.75	7.5	3.1	4.05	6.15	6.1	7.2
zephyr-7b-sft-ruozhiba	5.88	3.75	6.45	8.11	2.7	4.2	7.4	7.4	7.15

搜集汇总

数据集介绍

构建方式

Columbia-NLP/ruozhiba_en数据集的构建，基于COIG-CQIA的研究成果，对240条中文指令进行英译，并对部分与文化或语言相关的指令进行过滤和修改，保留部分中文指令以维持原意，并使用gpt-4-turbo重新生成响应，添加额外一回合以增强鲁棒性。

使用方法

使用该数据集时，用户可以直接从HuggingFace的仓库中下载。数据集以split形式组织，可以通过路径指定下载特定split的数据。数据集适用于模型训练，尤其是指令微调任务，能够帮助模型在多领域取得良好的表现。

背景与挑战

背景概述

Columbia-NLP/ruozhiba_en数据集，是基于COIG-CQIA研究的高质量指令调优数据集，其旨在显著提升监督微调模型的表现。该数据集由哥伦比亚大学自然语言处理团队研发，于2023年公开。通过将240条中文指令翻译为英文，并对部分与语言文化相关的指令进行过滤和修改，保留了部分中文指令以维护原意，并使用gpt-4-turbo重新生成回应，增强了数据集的鲁棒性。该数据集的发布对自然语言处理领域，特别是在指令微调领域产生了重要影响。

当前挑战

数据集在构建过程中遇到的挑战主要包括如何确保翻译后的指令在语义上与原文保持一致，同时考虑到跨文化的适应性。此外，在数据集的应用中，研究者面临的挑战是如何利用这些指令有效提升模型在多轮对话中的表现，特别是在角色扮演、数学推理等具体任务上的性能。MT-Bench上的测试结果表明，ruozhiba_en数据集在各项指标上均表现出可比性能，这表明数据集在解决这些领域问题上的有效性。

常用场景

经典使用场景

在自然语言处理领域，Columbia-NLP/ruozhiba_en数据集的典型应用场景是作为指令微调的数据集，用于提升监督微调模型的表现。该数据集通过精心设计的指令和相应的回复，为模型提供了丰富的学习材料，从而在实际应用中能够更加准确地理解和执行用户的指令。

解决学术问题

该数据集解决了自然语言处理中模型对复杂指令理解不足的问题，以及模型在特定领域知识应用上的局限性。通过使用Columbia-NLP/ruozhiba_en数据集，研究者能够训练出更加精准和健壮的模型，这对于提升机器的智能水平具有重要的学术意义和影响。

实际应用

在实际应用中，Columbia-NLP/ruozhiba_en数据集可用于提升聊天机器人的交互质量，使其能够更好地理解和响应用户的多样化需求。此外，该数据集还能应用于自动问答系统、智能客服等领域，提升系统的指令理解和执行能力。

数据集最近研究

最新研究方向

在自然语言处理领域，指令微调数据集的研发备受关注。Columbia-NLP/ruozhiba_en数据集，作为高质量指令微调的数据集，近期研究表明其能显著提升监督微调模型的性能。基于COIG-CQIA的研究成果，该数据集通过翻译与筛选，不仅保留了原意，还增强了跨语言和文化的适应性。在MT-Bench评测中，ruozhiba_en数据集展现出与ultrachat_200k数据集相当的性能，尤其在人文和角色扮演等领域表现出色，为相关研究提供了有力的数据支持。