kunishou/hh-rlhf-eval-3k-ja

这是一个用于Instruction Tuning评估的数据集，包含从kunishou/hh-rlhf-49k-ja数据集中随机抽取的3000条数据。使用该数据集可以在不同数据集上进行Instruction Tuning时，横向比较validation loss。

原始信息汇总

数据集概述

数据集来源

• 本数据集是从 kunishou/hh-rlhf-49k-ja 中随机抽取的3000条数据。

数据集用途

• 用于评估 Instruction チューニング。
• 通过指定此评估数据集，可以进行 validation loss 的横向比较。

使用注意事项

• 在使用 kunishou/hh-rlhf-49k-ja 数据集进行训练时，应排除此评估数据集中的数据。

数据集加载代码示例

python pip install datasets

python from datasets import Dataset, load_dataset import pandas as pd

df1 = load_dataset("kunishou/hh-rlhf-49k-ja") df2 = load_dataset("kunishou/hh-rlhf-eval-3k-ja")

df1.set_format(type="pandas") df2.set_format(type="pandas")

df1 = df1["train"][:] df2 = df2["test"][:]

df2["flag"] = 1

df = pd.merge(df1, df2[["instruction", "flag"]], on="instruction", how="left") df = df[df["flag"]!=1].reset_index(drop=True)

dataset = Dataset.from_pandas(df)