multi-turn123
收藏资源简介：
multi-turn123 是一个用于评估语言模型多轮对话能力的基准数据集集合。它整合并过滤了来自多个知名开源数据集的子集，主要包括两大类别：一是源自 microsoft/SCBench 工作空间的多个过滤后非空子集（例如 scbench_choice_eng、scbench_many_shot、scbench_qa_chn/eng、scbench_summary 等），涵盖了选择题、多轮问答、摘要等多种任务形式；二是本地构建的多轮问答子集，包括源自 allenai/qasper 的共享上下文多轮问答子集 `qasper`，源自 THUDM/LongBench 的英文和中文多领域问答子集 `multifieldqa_en` 和 `multifieldqa_zh`，以及一个本地构建的类似 SCBench 的“大海捞针”式多轮问答数据集 `niah`。该数据集旨在为多轮交互场景下的模型能力评估提供统一的测试基准，所有数据均以 Parquet 格式存储，并仅包含测试集分割。
multi-turn123 is a benchmark dataset collection for evaluating the multi-turn dialogue capabilities of language models. It integrates and filters subsets from multiple well-known open-source datasets, primarily including two categories: 1) filtered non-empty subsets from the microsoft/SCBench workspace (e.g., scbench_choice_eng, scbench_many_shot, scbench_qa_chn/eng, scbench_summary, etc.), covering various task forms such as multiple-choice questions, multi-turn Q&A, and summarization; 2) locally constructed multi-turn Q&A subsets, including the shared-context multi-turn Q&A subset `qasper` from allenai/qasper, the English and Chinese multi-domain Q&A subsets `multifieldqa_en` and `multifieldqa_zh` from THUDM/LongBench, and a locally constructed SCBench-like needle-in-a-haystack multi-turn Q&A dataset `niah`. This dataset aims to provide a unified testing benchmark for model capability evaluation in multi-turn interaction scenarios, with all data stored in Parquet format and containing only the test set split.
数据集 multi-turn123 概述
基本信息
- 许可证: MIT
- 任务类型: 多轮问答、多轮测试基准
数据来源
该数据集整合自以下三个来源：
- microsoft/SCBench — 经过非空过滤的
scbench_*子集 - allenai/qasper — 多轮问答子集
- THUDM/LongBench — 多轮问答子集
包含的子集（Configs）
来自 SCBench 的过滤子集（共11个）
| 子集名称 | 说明 |
|---|---|
| scbench_choice_eng | 选择题（英文） |
| scbench_many_shot | 多示例（many-shot） |
| scbench_mf | 多字段（multi-field） |
| scbench_prefix_suffix | 前缀-后缀匹配 |
| scbench_qa_chn | 问答（中文） |
| scbench_qa_eng | 问答（英文） |
| scbench_repoqa | 仓库级问答 |
| scbench_repoqa_and_kv | 仓库级问答与键值任务 |
| scbench_summary | 摘要任务 |
| scbench_summary_with_needles | 含“针”的摘要任务 |
| scbench_vt | 虚拟表格（virtual table） |
注意：空子集已被剔除，例如
scbench_kv因过滤后无数据而未包含。
本地多轮问答子集（共4个）
| 子集名称 | 说明 |
|---|---|
| niah | 类 SCBench 的多轮“大海捞针”（Needle-in-a-Haystack）数据集 |
| qasper | 共享上下文的多轮问答子集，源自 allenai/qasper |
| multifieldqa_en | 共享上下文的多轮问答子集（英文），源自 THUDM/LongBench |
| multifieldqa_zh | 共享上下文的多轮问答子集（中文），源自 THUDM/LongBench |
数据格式与加载
所有数据以 Parquet 文件格式存储，每个子集对应一个独立的 test 切分文件，路径为 data/{config_name}.parquet。
加载示例（Python）
python from datasets import load_dataset
ds = load_dataset("<your-hf-namespace>/multi-turn123", "qasper", split="test")
其他说明
- 本数据集仅包含数据文件，不包含评估代码。
- 所有子集均为 test 切分，无训练/验证集。
