carnival13/hotpot_FiD

---
dataset_info:
features:
- name: question
dtype: string
- name: answer
dtype: string
- name: supporting_facts
sequence:
- name: title
dtype: string
- name: sent_id
dtype: int32
- name: context
sequence:
- name: title
dtype: string
- name: sentences
sequence: string
- name: para_list
sequence: string
- name: output
dtype: string
- name: gold_para
sequence: int64
- name: act_idxs
sequence: int64
- name: input10
sequence: string
splits:
- name: train
num_bytes: 1749489303
num_examples: 90447
- name: validation
num_bytes: 143793645
num_examples: 7405
download_size: 1048534101
dataset_size: 1893282948
---
# Dataset Card for "hotpot_FiD"

[More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

---
数据集信息：
特征字段：
- 字段名：问题（question），数据类型：字符串（string）
- 字段名：答案（answer），数据类型：字符串（string）
- 字段名：支撑事实（supporting_facts）：序列类型，包含子字段：标题（title，数据类型为字符串）、句子编号（sent_id，数据类型为32位整数）
- 字段名：上下文（context）：序列类型，包含子字段：标题（title，数据类型为字符串）、句子（sentences，序列类型为字符串）
- 字段名：段落列表（para_list）：序列类型为字符串
- 字段名：输出（output），数据类型：字符串（string）
- 字段名：金标准段落（gold_para）：序列类型为64位整数（int64）
- 字段名：动作索引（act_idxs）：序列类型为64位整数（int64）
- 字段名：输入10（input10）：序列类型为字符串
数据划分：
- 划分名称：训练集（train），字节数：1749489303，样本数量：90447
- 划分名称：验证集（validation），字节数：143793645，样本数量：7405
下载大小：1048534101
数据集总大小：1893282948
---
# 数据集卡片："hotpot_FiD"
[需补充更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集概述

数据集名称

• 名称: hotpot_FiD

数据集特征

• 问题: 字符串类型
• 答案: 字符串类型
• 支持事实: 序列类型，包含以下子特征：
  • 标题: 字符串类型
  • 句子ID: 整数类型（int32）
• 上下文: 序列类型，包含以下子特征：
  • 标题: 字符串类型
  • 句子: 序列类型，字符串类型
• 段落列表: 序列类型，字符串类型
• 输出: 字符串类型
• 黄金段落: 序列类型，整数类型（int64）
• 动作索引: 序列类型，整数类型（int64）
• 输入10: 序列类型，字符串类型

数据集分割

• 训练集:
  • 样本数: 90447
  • 数据大小: 1749489303 字节
• 验证集:
  • 样本数: 7405
  • 数据大小: 143793645 字节

数据集大小

• 下载大小: 1048534101 字节
• 数据集总大小: 1893282948 字节

搜集汇总

数据集介绍

构建方式

在开放域问答与多跳推理的研究背景下，carnival13/hotpot_FiD数据集基于HotpotQA原始语料进行深度加工与重构，专为融合解码器（Fusion-in-Decoder, FiD）模型设计。其构建过程首先保留原始数据中的问题、答案及支持事实三元组，随后通过检索与筛选机制为每个问题生成包含多个候选段落的上下文集合，并依据段落与问题的语义相关性标注黄金段落索引（gold_para）与动作索引（act_idxs）。最终，将上下文段落拼接为固定长度的输入序列（如input10字段），形成适用于FiD模型并行编码与联合解码的标准化格式。

使用方法

使用该数据集时，研究者可直接加载结构化特征进行FiD模型的训练与评估。典型流程为：利用question字段作为查询，结合input10或context字段构建编码器输入，通过gold_para监督段落选择模块，最终以answer字段作为解码目标。支持事实（supporting_facts）可用于辅助验证模型的推理路径正确性。数据集以HuggingFace Datasets库标准格式存储，支持一键加载与批处理，便于集成到现有训练管线中。建议配合FiD官方实现或类似编码器-解码器架构使用，以充分发挥其多段落联合建模优势。

背景与挑战

背景概述

在自然语言处理领域，多跳问答任务要求模型从多个文档中检索并推理出答案，对机器理解复杂文本关系的能力提出了严峻挑战。carnival13/hotpot_FiD数据集基于HotpotQA构建，由研究人员于2020年前后开发，旨在解决多跳问答中的证据融合与推理瓶颈。该数据集通过集成Fusion-in-Decoder（FiD）架构的输入输出格式，将问题、答案、支撑事实及上下文结构化组织，包含约9万训练样本和7405验证样本，为评估模型在跨段落推理中的表现提供了标准化基准。其核心研究问题聚焦于如何通过端到端的生成式方法有效整合分散信息，对推动开放域问答系统的发展具有重要影响。

当前挑战

该数据集面临的核心挑战在于多跳推理的复杂性：模型需从大量无关段落中精准定位支撑事实，并建立跨句的逻辑链，这对语义匹配和长距离依赖建模能力要求极高。构建过程中，研究人员需处理多源文档的噪声标注问题，如上下文句子与支撑事实的边界模糊、段落选择偏差等，同时确保训练数据中负样本的合理分布以避免模型过拟合。此外，FiD架构的输入长度限制与计算开销在扩展至更大规模语料时构成瓶颈，平衡推理深度与效率成为持续优化的关键难题。

常用场景

经典使用场景

在自然语言处理领域，多跳问答任务要求模型从多个文本片段中整合分散的信息以回答复杂问题，carnival13/hotpot_FiD数据集正是为此设计的经典基准。该数据集基于HotpotQA构建，并适配于Fusion-in-Decoder（FiD）架构，每个样本包含问题、答案、支持事实及多段落上下文。其经典使用场景在于训练和评估模型在多段落检索与推理中的能力，例如在给定10个候选段落（input10字段）时，模型需精准定位并融合相关证据，最终生成准确答案。研究者通常利用该数据集的验证集（7405个样本）进行性能测试，以衡量模型在复杂推理任务上的泛化表现。

解决学术问题

该数据集旨在解决多跳问答中两大核心学术难题：一是如何从大量无关段落中有效筛选出支持事实，二是如何将分散于多处的信息进行逻辑融合。通过提供结构化字段如gold_para（标注的正确段落索引）和supporting_facts（支持事实的标题与句子编号），它使得检索与推理的联合学习成为可能。carnival13/hotpot_FiD的引入推动了端到端模型的发展，显著提升了系统在复杂问题上的准确率，并为后续研究提供了可复现的评估标准。其意义在于揭示了检索增强生成范式的潜力，影响了信息抽取、知识问答等多个子领域的研究方向。

实际应用

在实际应用中，carnival13/hotpot_FiD数据集训练出的模型可部署于智能客服、知识图谱问答及教育辅助系统等场景。例如，在医疗咨询中，模型能综合多篇文献回答如“某种药物对特定症状的疗效”之类的复合问题；在学术搜索中，它能从多篇论文中提取关键论据以回答跨文档问题。该数据集强调的段落检索与推理能力，直接转化为对非结构化文本的高效利用，提升了信息整合的自动化水平，降低了人工查阅成本。此外，其与FiD架构的兼容性使得模型在资源受限环境下仍能保持较高性能，具有广泛的工业部署价值。

数据集最近研究

最新研究方向

在自然语言处理领域，多跳问答任务要求模型具备跨文档推理与信息聚合的能力，而HotpotQA数据集因其对复杂推理链条的严格评估而成为该方向的核心基准。carnival13/hotpot_FiD数据集专为融合式解码器（Fusion-in-Decoder）设计，通过将检索到的多段落编码后统一解码，显著提升了模型在长文本依赖场景下的答案生成准确性。近期研究聚焦于如何结合稀疏检索与稠密检索的优势，在HotpotQA上实现更高效的证据段落筛选，同时利用FiD架构对噪声文档的鲁棒性进行优化。这一方向不仅推动了开放域问答系统在医疗、法律等专业领域的落地，还促使了跨文档语义理解与知识图谱增强推理等前沿课题的突破，成为检验大语言模型真实推理能力的试金石。