xDAN-datasets/ChatQA-Training-Data

---
dataset_info:
- config_name: drop
features:
- name: messages
list:
- name: content
dtype: string
- name: role
dtype: string
- name: document
dtype: string
- name: answers
sequence: string
- name: shargpt_formatted
list:
- name: from
dtype: string
- name: value
dtype: string
splits:
- name: train
num_bytes: 78867689
num_examples: 29195
download_size: 9598684
dataset_size: 78867689
- config_name: narrativeqa
features:
- name: messages
list:
- name: content
dtype: string
- name: role
dtype: string
- name: document
dtype: string
- name: answers
sequence:
sequence: string
- name: shargpt_formatted
list:
- name: from
dtype: string
- name: value
dtype: string
splits:
- name: train
num_bytes: 284098258
num_examples: 40000
download_size: 10699133
dataset_size: 284098258
- config_name: newsqa
features:
- name: messages
list:
- name: content
dtype: string
- name: role
dtype: string
- name: document
dtype: string
- name: answers
sequence: string
- name: shargpt_formatted
list:
- name: from
dtype: string
- name: value
dtype: string
splits:
- name: train
num_bytes: 573133568
num_examples: 76560
download_size: 71189729
dataset_size: 573133568
- config_name: quoref
features:
- name: answers
sequence: string
- name: document
dtype: string
- name: messages
list:
- name: content
dtype: string
- name: role
dtype: string
- name: shargpt_formatted
list:
- name: from
dtype: string
- name: value
dtype: string
splits:
- name: train
num_bytes: 43068666
num_examples: 10996
download_size: 5976692
dataset_size: 43068666
- config_name: ropes
features:
- name: messages
list:
- name: content
dtype: string
- name: role
dtype: string
- name: document
dtype: string
- name: answers
sequence: string
- name: shargpt_formatted
list:
- name: from
dtype: string
- name: value
dtype: string
splits:
- name: train
num_bytes: 19415418
num_examples: 10924
download_size: 1350788
dataset_size: 19415418
- config_name: sft
features:
- name: messages
list:
- name: content
dtype: string
- name: role
dtype: string
- name: answers
sequence: string
- name: shargpt_formatted
list:
- name: from
dtype: string
- name: value
dtype: string
splits:
- name: train
num_bytes: 666290328
num_examples: 128001
download_size: 385193089
dataset_size: 666290328
- config_name: squad1.1
features:
- name: messages
list:
- name: content
dtype: string
- name: role
dtype: string
- name: document
dtype: string
- name: answers
list:
- name: answer_start
dtype: int64
- name: text
dtype: string
- name: shargpt_formatted
list:
- name: from
dtype: string
- name: value
dtype: string
splits:
- name: train
num_bytes: 231108780
num_examples: 86863
download_size: 25656737
dataset_size: 231108780
- config_name: squad2.0
features:
- name: messages
list:
- name: content
dtype: string
- name: role
dtype: string
- name: document
dtype: string
- name: answers
list:
- name: answer_start
dtype: int64
- name: text
dtype: string
- name: shargpt_formatted
list:
- name: from
dtype: string
- name: value
dtype: string
splits:
- name: train
num_bytes: 232682362
num_examples: 129486
download_size: 28237410
dataset_size: 232682362
- config_name: synthetic_convqa
features:
- name: messages
list:
- name: content
dtype: string
- name: role
dtype: string
- name: document
dtype: string
- name: answers
sequence: string
- name: shargpt_formatted
list:
- name: from
dtype: string
- name: value
dtype: string
splits:
- name: train
num_bytes: 523263735
num_examples: 38689
download_size: 285865309
dataset_size: 523263735
- config_name: tatqa
features:
- name: messages
list:
- name: content
dtype: string
- name: role
dtype: string
- name: document
dtype: string
- name: answers
sequence: string
- name: shargpt_formatted
list:
- name: from
dtype: string
- name: value
dtype: string
splits:
- name: train
num_bytes: 52679111
num_examples: 11501
download_size: 8550834
dataset_size: 52679111
configs:
- config_name: drop
data_files:
- split: train
path: drop/train-*
- config_name: narrativeqa
data_files:
- split: train
path: narrativeqa/train-*
- config_name: newsqa
data_files:
- split: train
path: newsqa/train-*
- config_name: quoref
data_files:
- split: train
path: quoref/train-*
- config_name: ropes
data_files:
- split: train
path: ropes/train-*
- config_name: sft
data_files:
- split: train
path: sft/train-*
- config_name: squad1.1
data_files:
- split: train
path: squad1.1/train-*
- config_name: squad2.0
data_files:
- split: train
path: squad2.0/train-*
- config_name: synthetic_convqa
data_files:
- split: train
path: synthetic_convqa/train-*
- config_name: tatqa
data_files:
- split: train
path: tatqa/train-*
---

数据集信息：
- 配置名称：drop
特征字段：
- 字段名：messages，类型为列表，包含两个子字段：
- 字段名：content，数据类型：字符串
- 字段名：role，数据类型：字符串
- 字段名：document，数据类型：字符串
- 字段名：answers，数据类型：字符串序列
- 字段名：shargpt_formatted，类型为列表，包含两个子字段：
- 字段名：from，数据类型：字符串
- 字段名：value，数据类型：字符串
数据集划分：
- 划分名称：train，字节数：78867689，样本数量：29195
下载大小：9598684，数据集总大小：78867689
- 配置名称：narrativeqa
特征字段：
- 字段名：messages，类型为列表，包含两个子字段：
- 字段名：content，数据类型：字符串
- 字段名：role，数据类型：字符串
- 字段名：document，数据类型：字符串
- 字段名：answers，数据类型：字符串序列的序列
- 字段名：shargpt_formatted，类型为列表，包含两个子字段：
- 字段名：from，数据类型：字符串
- 字段名：value，数据类型：字符串
数据集划分：
- 划分名称：train，字节数：284098258，样本数量：40000
下载大小：10699133，数据集总大小：284098258
- 配置名称：newsqa
特征字段：
- 字段名：messages，类型为列表，包含两个子字段：
- 字段名：content，数据类型：字符串
- 字段名：role，数据类型：字符串
- 字段名：document，数据类型：字符串
- 字段名：answers，数据类型：字符串序列
- 字段名：shargpt_formatted，类型为列表，包含两个子字段：
- 字段名：from，数据类型：字符串
- 字段名：value，数据类型：字符串
数据集划分：
- 划分名称：train，字节数：573133568，样本数量：76560
下载大小：71189729，数据集总大小：573133568
- 配置名称：quoref
特征字段：
- 字段名：answers，数据类型：字符串序列
- 字段名：document，数据类型：字符串
- 字段名：messages，类型为列表，包含两个子字段：
- 字段名：content，数据类型：字符串
- 字段名：role，数据类型：字符串
- 字段名：shargpt_formatted，类型为列表，包含两个子字段：
- 字段名：from，数据类型：字符串
- 字段名：value，数据类型：字符串
数据集划分：
- 划分名称：train，字节数：43068666，样本数量：10996
下载大小：5976692，数据集总大小：43068666
- 配置名称：ropes
特征字段：
- 字段名：messages，类型为列表，包含两个子字段：
- 字段名：content，数据类型：字符串
- 字段名：role，数据类型：字符串
- 字段名：document，数据类型：字符串
- 字段名：answers，数据类型：字符串序列
- 字段名：shargpt_formatted，类型为列表，包含两个子字段：
- 字段名：from，数据类型：字符串
- 字段名：value，数据类型：字符串
数据集划分：
- 划分名称：train，字节数：19415418，样本数量：10924
下载大小：1350788，数据集总大小：19415418
- 配置名称：sft
特征字段：
- 字段名：messages，类型为列表，包含两个子字段：
- 字段名：content，数据类型：字符串
- 字段名：role，数据类型：字符串
- 字段名：document，数据类型：字符串
- 字段名：answers，数据类型：字符串序列
- 字段名：shargpt_formatted，类型为列表，包含两个子字段：
- 字段名：from，数据类型：字符串
- 字段名：value，数据类型：字符串
数据集划分：
- 划分名称：train，字节数：666290328，样本数量：128001
下载大小：385193089，数据集总大小：666290328
- 配置名称：squad1.1
特征字段：
- 字段名：messages，类型为列表，包含两个子字段：
- 字段名：content，数据类型：字符串
- 字段名：role，数据类型：字符串
- 字段名：document，数据类型：字符串
- 字段名：answers，类型为列表，包含两个子字段：
- 字段名：answer_start，数据类型：int64
- 字段名：text，数据类型：字符串
- 字段名：shargpt_formatted，类型为列表，包含两个子字段：
- 字段名：from，数据类型：字符串
- 字段名：value，数据类型：字符串
数据集划分：
- 划分名称：train，字节数：231108780，样本数量：86863
下载大小：25656737，数据集总大小：231108780
- 配置名称：squad2.0
特征字段：
- 字段名：messages，类型为列表，包含两个子字段：
- 字段名：content，数据类型：字符串
- 字段名：role，数据类型：字符串
- 字段名：document，数据类型：字符串
- 字段名：answers，类型为列表，包含两个子字段：
- 字段名：answer_start，数据类型：int64
- 字段名：text，数据类型：字符串
- 字段名：shargpt_formatted，类型为列表，包含两个子字段：
- 字段名：from，数据类型：字符串
- 字段名：value，数据类型：字符串
数据集划分：
- 划分名称：train，字节数：232682362，样本数量：129486
下载大小：28237410，数据集总大小：232682362
- 配置名称：synthetic_convqa
特征字段：
- 字段名：messages，类型为列表，包含两个子字段：
- 字段名：content，数据类型：字符串
- 字段名：role，数据类型：字符串
- 字段名：document，数据类型：字符串
- 字段名：answers，数据类型：字符串序列
- 字段名：shargpt_formatted，类型为列表，包含两个子字段：
- 字段名：from，数据类型：字符串
- 字段名：value，数据类型：字符串
数据集划分：
- 划分名称：train，字节数：523263735，样本数量：38689
下载大小：285865309，数据集总大小：523263735
- 配置名称：tatqa
特征字段：
- 字段名：messages，类型为列表，包含两个子字段：
- 字段名：content，数据类型：字符串
- 字段名：role，数据类型：字符串
- 字段名：document，数据类型：字符串
- 字段名：answers，数据类型：字符串序列
- 字段名：shargpt_formatted，类型为列表，包含两个子字段：
- 字段名：from，数据类型：字符串
- 字段名：value，数据类型：字符串
数据集划分：
- 划分名称：train，字节数：52679111，样本数量：11501
下载大小：8550834，数据集总大小：52679111
配置项：
- 配置名称：drop，数据文件：
- 划分：train，路径：drop/train-*
- 配置名称：narrativeqa，数据文件：
- 划分：train，路径：narrativeqa/train-*
- 配置名称：newsqa，数据文件：
- 划分：train，路径：newsqa/train-*
- 配置名称：quoref，数据文件：
- 划分：train，路径：quoref/train-*
- 配置名称：ropes，数据文件：
- 划分：train，路径：ropes/train-*
- 配置名称：sft，数据文件：
- 划分：train，路径：sft/train-*
- 配置名称：squad1.1，数据文件：
- 划分：train，路径：squad1.1/train-*
- 配置名称：squad2.0，数据文件：
- 划分：train，路径：squad2.0/train-*
- 配置名称：synthetic_convqa，数据文件：
- 划分：train，路径：synthetic_convqa/train-*
- 配置名称：tatqa，数据文件：
- 划分：train，路径：tatqa/train-*

原始信息汇总

数据集概述

1. drop

• 特征:
  • messages:
    • content: string
    • role: string
  • document: string
  • answers: sequence of string
  • shargpt_formatted:
    • from: string
    • value: string
• 分割:
  • train:
    • 字节数: 78867689
    • 示例数: 29195
• 下载大小: 9598684
• 数据集大小: 78867689

2. narrativeqa

• 特征:
  • messages:
    • content: string
    • role: string
  • document: string
  • answers: sequence of string
  • shargpt_formatted:
    • from: string
    • value: string
• 分割:
  • train:
    • 字节数: 284098258
    • 示例数: 40000
• 下载大小: 10699133
• 数据集大小: 284098258

3. newsqa

• 特征:
  • messages:
    • content: string
    • role: string
  • document: string
  • answers: sequence of string
  • shargpt_formatted:
    • from: string
    • value: string
• 分割:
  • train:
    • 字节数: 573133568
    • 示例数: 76560
• 下载大小: 71189729
• 数据集大小: 573133568

4. quoref

• 特征:
  • answers: sequence of string
  • document: string
  • messages:
    • content: string
    • role: string
  • shargpt_formatted:
    • from: string
    • value: string
• 分割:
  • train:
    • 字节数: 43068666
    • 示例数: 10996
• 下载大小: 5976692
• 数据集大小: 43068666

5. ropes

• 特征:
  • messages:
    • content: string
    • role: string
  • document: string
  • answers: sequence of string
  • shargpt_formatted:
    • from: string
    • value: string
• 分割:
  • train:
    • 字节数: 19415418
    • 示例数: 10924
• 下载大小: 1350788
• 数据集大小: 19415418

6. sft

• 特征:
  • messages:
    • content: string
    • role: string
  • answers: sequence of string
  • shargpt_formatted:
    • from: string
    • value: string
• 分割:
  • train:
    • 字节数: 666290328
    • 示例数: 128001
• 下载大小: 385193089
• 数据集大小: 666290328

7. squad1.1

• 特征:
  • messages:
    • content: string
    • role: string
  • document: string
  • answers:
    • answer_start: int64
    • text: string
  • shargpt_formatted:
    • from: string
    • value: string
• 分割:
  • train:
    • 字节数: 231108780
    • 示例数: 86863
• 下载大小: 25656737
• 数据集大小: 231108780

8. squad2.0

• 特征:
  • messages:
    • content: string
    • role: string
  • document: string
  • answers:
    • answer_start: int64
    • text: string
  • shargpt_formatted:
    • from: string
    • value: string
• 分割:
  • train:
    • 字节数: 232682362
    • 示例数: 129486
• 下载大小: 28237410
• 数据集大小: 232682362

9. synthetic_convqa

• 特征:
  • messages:
    • content: string
    • role: string
  • document: string
  • answers: sequence of string
  • shargpt_formatted:
    • from: string
    • value: string
• 分割:
  • train:
    • 字节数: 523263735
    • 示例数: 38689
• 下载大小: 285865309
• 数据集大小: 523263735

10. tatqa

• 特征:
  • messages:
    • content: string
    • role: string
  • document: string
  • answers: sequence of string
  • shargpt_formatted:
    • from: string
    • value: string
• 分割:
  • train:
    • 字节数: 52679111
    • 示例数: 11501
• 下载大小: 8550834
• 数据集大小: 52679111

搜集汇总

数据集介绍

构建方式

在对话式问答系统的研究领域，高质量的训练数据是提升模型推理与交互能力的基石。xDAN-datasets/ChatQA-Training-Data 数据集通过整合多个经典问答数据集并加以统一格式化构建而成。其构建过程涵盖了 DROP、NarrativeQA、NewsQA、Quoref、Ropes、SQuAD1.1、SQuAD2.0、TAT-QA 等广泛使用的阅读理解数据集，以及一个专门用于监督微调的 SFT 配置和一个合成对话问答子集。每个子集均保留了原始文档文本与答案信息，同时将问答对转化为结构化的 messages 字段，并额外提供 shargpt_formatted 字段以适配大语言模型的对话格式。这种多源融合与格式统一的设计，使得数据集能够覆盖多样化的问答场景与推理难度。

特点

该数据集最显著的特点在于其丰富的构成与统一的对话结构。它囊括了从短文本抽取式问答（如 SQuAD）到长文本叙事理解（如 NarrativeQA），再到需要数值推理的表格问答（如 TAT-QA）等多种任务类型，总计超过 50 万条训练样本。每个样本均包含完整的对话历史（messages 字段），明确标注了用户与助手的角色，以及对应的文档上下文和标准答案。此外，shargpt_formatted 字段提供了类似 ShareGPT 的交互格式，便于直接用于对话模型的训练与评估。这种多任务、多格式的集成特性，为训练具备广泛知识覆盖与强大对话能力的问答系统提供了坚实的数据基础。

使用方法

使用该数据集时，开发者可根据具体任务需求选择相应的配置子集，例如使用 squad1.1 或 squad2.0 进行抽取式问答训练，或使用 drop、narrativeqa 等子集提升模型的复杂推理能力。通过 Hugging Face Datasets 库加载数据后，messages 字段可直接作为对话模型的输入输出对，而 shargpt_formatted 字段则适用于需要特定格式的微调流程。对于监督微调任务，推荐使用 sft 配置，其中包含了大量经过精心筛选与格式化的对话样本。开发者亦可混合多个配置子集，构建定制化的训练语料，以平衡不同任务类型的分布，从而优化模型在真实对话场景中的综合表现。

背景与挑战

背景概述

在自然语言处理领域，对话式问答系统的发展长期受限于高质量训练数据的匮乏，尤其是能够涵盖多类型推理与复杂文档理解的综合性数据集。xDAN-datasets/ChatQA-Training-Data数据集由xDAN团队于近年创建，旨在整合多种经典问答基准，包括DROP、NarrativeQA、NewsQA、Quoref、ROPES、SQuAD1.1、SQuAD2.0、TAT-QA以及合成对话数据，形成一个统一、规模达数十万样本的训练资源。该数据集的核心研究问题在于如何通过多源异构数据的融合，提升对话式问答模型在数值推理、篇章理解、否定处理与表格推理等多样化场景下的泛化能力。其发布对推动对话AI从单一任务向多任务联合学习转型具有重要影响，为后续研究提供了标准化训练基础。

当前挑战

当前数据集面临的挑战主要体现在两个方面。在领域问题层面，对话式问答需同时应对数值推理（如DROP）、时间顺序推理（如NarrativeQA）、多步推理（如Quoref）及表格与文本混合理解（如TAT-QA），这些任务对模型的跨任务迁移能力提出严苛要求。在构建过程中，由于数据来源于九个不同格式与标注规范的子集，如何统一消息结构、确保文档与答案字段的兼容性，并生成一致的ShareGPT格式对话模板，成为数据整合的核心难点。此外，合成对话数据（synthetic_convqa）的引入虽扩充了规模，但也带来了噪声控制与真实性验证的挑战，需要精心设计过滤策略以维持数据质量。

常用场景

经典使用场景

在自然语言处理与对话系统的研究中，数据集ChatQA-Training-Data被广泛用于训练和评估面向文档的问答与多轮对话模型。该数据集整合了DROP、NarrativeQA、NewsQA、Quoref、ROPES、SQuAD 1.1与2.0、TAT-QA等多个经典阅读理解基准，并经过Shargpt格式的对话化处理，使得模型能够在给定文档上下文中学习从单轮抽取式回答到多轮推理对话的复杂映射。其经典使用场景聚焦于构建具备文档理解能力的对话代理，尤其在需要结合数值推理、时间推理和跨句推理的问答任务中展现出独特价值。

解决学术问题

学术界长期面临的一个核心挑战是如何弥合静态阅读理解任务与动态对话交互之间的鸿沟。ChatQA-Training-Data通过将多个权威的抽取式与推理式问答数据集统一转化为对话格式，有效解决了多轮对话中上下文保持、指代消解和知识融合的难题。该数据集为研究者提供了大规模、多样化的训练样本，使得模型能够学习到在连续对话中检索并利用文档信息的策略，推动了对话式问答从简单的单轮检索向复杂的多轮推理演进，显著提升了模型在零样本和低资源场景下的泛化能力。

衍生相关工作

基于ChatQA-Training-Data，学术界衍生出一系列经典工作，包括面向长文档的多跳推理对话模型、结合表格与文本的混合问答系统以及利用指令微调增强对话泛化能力的研究。例如，有工作在此基础上提出了结构化知识增强的对话框架，将文档中的实体关系显式建模到对话状态追踪中；另有研究利用该数据集训练出能主动澄清歧义问题的交互式问答代理。这些衍生工作不仅验证了数据集在推动对话式文档理解方面的基石作用，也催生了诸如ChatQA等代表性模型，进一步拓展了对话系统在复杂推理任务中的边界。