ibm-research/watsonxDocsQA

watsonxDocsQA数据集是一个由IBM贡献的开源数据集和基准，该数据集来源于企业产品文档，专门设计用于端到端的检索增强生成（RAG）评估。数据集包括两个部分：文档集和问答对基准。文档集由1144个文本和Markdown文件组成，通过爬取企业文档获得。问答对基准包含75个问题-答案对，带有黄金文档标签和答案。其中25个问题是两位主题专家生成的，另外50个问题是使用tiiuae/falcon-180b模型生成的，然后经过手动筛选和审核以保证质量。

watsonxDocsQA is a new open-source dataset and benchmark contributed by IBM. The dataset is derived from enterprise product documentation and is designed specifically for end-to-end Retrieval-Augmented Generation (RAG) evaluation. The dataset consists of two components: a corpus of 1,144 text and markdown files generated by crawling enterprise documentation, and a set of 75 question-answer (QA) pairs with gold document labels and answers.

搜集汇总

数据集介绍

构建方式

在检索增强生成（RAG）技术的演进浪潮中，高质量基准数据集的匮乏始终是制约该领域发展的瓶颈。为此，IBM 研究团队推出了 watsonxDocsQA 数据集，该数据集由两大核心组件构成：语料库与问答基准。语料库源自对企业产品文档的深度爬取，共收录了 1,144 份文本及 Markdown 文件，全面覆盖了产品说明的多元格式。问答基准则精心设计了 75 个问题-答案对，其中 25 个问题由领域专家手工撰写，以确保真实性与专业性；其余 50 个问题借助 tiiuae/falcon-180b 模型合成，并经过严格的人工筛选与复核，从而在规模与质量之间实现了精妙平衡。每个问答对均附有对应的黄金文档标识与答案，构成了端到端 RAG 评估的可靠基石。

特点

该数据集呈现出若干独到特质，使其在众多同类资源中脱颖而出。首先，语料库提供了文本、Markdown 及 HTML 三种格式的文档，赋予了研究者依据下游任务灵活选择输入形式的能力，极大增强了适用性。其次，问答基准中的每个问题均标注了精准的正确答案及支撑文档 ID，并额外提供了基于这些文档的上下文文本，这为细粒度评估检索与生成两个环节的协同表现提供了可能。此外，数据集规模虽精简却极具代表性，语料库含 1,144 个样本，问答对则分为 45 个训练样本与 30 个测试样本，这种设计既降低了计算开销，又确保了评估的统计有效性，尤其适合在资源受限场景下快速迭代模型。

使用方法

使用 watsonxDocsQA 数据集开展研究时，研究者可依据 Hugging Face 上的标准加载流程便捷获取数据。该数据集包含两个配置：corpus 用于加载语料库，question_answers 用于加载问答对。在构建 RAG 系统时，语料库可作为检索源，通过将每个文档的文本或 Markdown 内容编码为向量，建立索引；问答对则用于评估检索器与生成器的联合性能。具体而言，可将问题输入检索器以召回相关文档，再将召回结果与问题一同馈入生成模型，最终将模型输出与 ground_truth 答案进行比对。数据集已预先划分好训练集与测试集，研究者可直接利用训练集进行模型调优，并在测试集上报告性能指标。

背景与挑战

背景概述

在检索增强生成（Retrieval-Augmented Generation, RAG）技术快速演进的浪潮中，如何系统性地评估端到端RAG系统的性能，尤其是面对企业级文档的复杂性与专业性，已成为自然语言处理领域亟待突破的瓶颈。2025年，IBM研究团队发布了watsonxDocsQA数据集，旨在为这一挑战提供标准化的评估基准。该数据集源自IBM watsonx平台的企业产品文档，包含1144篇文本与Markdown文档构成的语料库，以及75个精心设计的问题-答案对。其中25个问题由领域专家手工撰写，50个问题则借助tiiuae/falcon-180b模型合成并经过人工严格筛选，确保了数据的高质量与领域相关性。该数据集的问世，不仅填补了企业级RAG评估中缺乏真实文档与专家标注的空白，更通过其开源特性，推动了RAG系统在工业场景下的可复现研究与性能优化。

当前挑战

watsonxDocsQA数据集所面临的挑战主要体现在两大维度。首先，在领域问题层面，它针对的是RAG系统在企业文档理解与问答中的核心难题：如何从大量结构化与非结构化混合的文档中，精准检索出支撑答案的上下文片段，并生成准确、连贯的回应。现有模型常因文档噪声、长尾信息或跨文档推理而性能衰减，该数据集通过提供细粒度的文档标识与黄金上下文，为诊断此类缺陷提供了关键参照。其次，在构建过程中，数据集的生成面临双重挑战：一是人工标注成本高昂，仅25个专家问题便需投入大量领域知识；二是合成数据虽能扩展规模，却需克服模型生成答案的幻觉风险与领域术语的失真问题。研究团队通过多轮人工过滤与交叉验证，才确保了50个合成问题的可靠性，这一过程本身即为数据工程中质量与效率平衡的典型难题。

常用场景

经典使用场景

watsonxDocsQA数据集专为端到端检索增强生成（RAG）系统的评估而设计，其经典使用场景是作为检索与生成联合优化的基准测试平台。该数据集包含来自企业产品文档的1144篇文本与Markdown文档，以及75个经过精心标注的问答对，每个问题均附有正确的答案和对应的支撑文档片段。研究者可借助该数据集，系统性地评估检索器从大规模文档库中定位相关上下文的能力，以及生成模型基于检索结果产生准确答案的协同表现，从而推动RAG流水线中检索精度与生成质量的整体提升。

解决学术问题

该数据集主要解决了RAG领域缺乏来自真实企业场景、具有高质量标注的开放评测基准这一关键学术难题。现有基准多基于通用百科或新闻语料，难以反映工业级文档的复杂性、专业性与多模态结构。watsonxDocsQA通过引入IBM产品文档的真实数据，为评估检索器对专业术语、层级结构和跨文档依赖关系的理解提供了标准化平台。它使研究者能够量化不同超参数优化方法、检索策略和生成模型在真实业务场景下的性能差异，从而推动RAG系统从实验室验证向实际部署的可信度迈进。

衍生相关工作

该数据集已催生了一系列探索RAG系统优化的经典工作。例如，Orbach等人（2025）在预印本中系统分析了超参数优化方法对RAG性能的影响，利用watsonxDocsQA作为核心评测基准，揭示了检索器top-k选择、重排序策略与生成模型温度参数之间的交互效应。此外，Yehudai等人（2024）提出的合成问答对生成方法论为该数据集的构建提供了技术基础，启发了后续研究将大语言模型用于高质量评测样本的自动生成与质量筛选。这些衍生工作共同推动了RAG评测从单一指标到多维评估范式的演进。