watsonxDocsQA

该数据集包含两部分：文档集合和问题答案对。文档集合部分提供了文档的ID、URL、标题、文档内容及其Markdown格式的内容。问题答案对部分包含了问题ID、问题内容、正确答案、正确答案对应的文档ID以及答案在文档中的上下文。数据集分为训练集，其中文档集合部分有1144个示例，问题答案对部分有45个示例；问题答案对部分还有一个测试集，包含30个示例。This dataset comprises two components: a document collection and a question-answer (QA) pair set. The document collection provides document ID, URL, title, raw document content, and its Markdown-formatted content. The QA pair set includes question ID, question content, correct answer, the document ID corresponding to the correct answer, and the context where the answer appears in the target document. The dataset is split into a training subset, where the document collection contains 1144 samples and the QA pair set has 45 samples. Additionally, a test subset is included in the QA pair set, which consists of 30 samples.

原始信息汇总

watsonxDocsQA 数据集概述

数据集基本信息

• 许可证: Apache-2.0
• 数据集配置:
  • corpus: 包含训练集，路径为 corpus/train-*
  • question_answers: 包含训练集和测试集，路径分别为 question_answers/train-* 和 question_answers/test-*

数据集结构

1. Corpus 数据集

• 特征:
  • doc_id: 字符串类型，文档的唯一标识符
  • url: 字符串类型，文档的原始URL
  • title: 字符串类型，文档标题
  • document: 字符串类型，文档内容的文本表示
  • md_document: 字符串类型，文档内容的Markdown表示
• 数据量:
  • 训练集: 11,425,185 字节，1,144 个样本
• 下载大小: 3,327,056 字节
• 数据集大小: 10,625,185 字节

2. Question-Answers 数据集

• 特征:
  • question_id: 字符串类型，问题的唯一标识符
  • question: 字符串类型，问题文本
  • correct_answer: 字符串类型，正确答案
  • correct_answer_document_ids: 字符串类型，正确答案的文档ID
  • ground_truths_contexts: 字符串类型，正确答案的上下文文本
• 数据量:
  • 训练集: 60,224 字节，45 个样本
  • 测试集: 33,370 字节，30 个样本
• 下载大小: 58,177 字节
• 数据集大小: 93,594 字节

数据集概述

• 目的: 专为端到端检索增强生成（RAG）评估设计
• 组成部分:
  • 文档: 1,144 个文本和Markdown文件，来源于企业文档
  • 基准: 75 个问答对，包含黄金文档标签和答案
• 问答对来源:
  • 25 个问题: 由两位主题专家人工生成
  • 50 个问题: 使用 tiiuae/falcon-180b 模型合成生成，并经过人工筛选和审核

样本示例

• question_id: watsonx_q_2
• question: What foundation models have been built by IBM?
• correct_answer:
  "Foundation models built by IBM include:
  • granite-13b-chat-v2
  • granite-13b-chat-v1
  • granite-13b-instruct-v1"
• ground_truths_contexts_ids: B2593108FA446C4B4B0EF5ADC2CD5D9585B0B63C
• ground_truths_contexts: Foundation models built by IBM

In IBM watsonx.ai, ...

联系方式

• 邮箱: [e-mail]
• 反馈方式: 在该仓库中提交问题

搜集汇总

数据集介绍

构建方式

watsonxDocsQA数据集的构建融合了人工专家智慧与前沿大模型技术，通过系统化流程确保了数据质量。文档语料库源自对企业产品文档的深度爬取，共收录1,144份文本与Markdown格式的技术文档，完整保留了原始URL和层级结构。问答对部分采用混合生成策略：25组问题由领域专家手工编写，50组问题通过falcon-180b大模型生成后经人工校验，所有问题均标注正确答案及对应文档索引，形成端到端的检索增强生成评估体系。

特点

该数据集在技术文档智能处理领域具有显著特色。其双模块架构分别包含结构化文档语料和精准标注的QA对，每份文档均提供文本与Markdown双版本表示，支持多模态研究。75组问题涵盖人工生成与AI合成两种范式，特别标注了正确答案的文档溯源路径，为RAG系统提供细粒度评估维度。数据集严格遵循Apache-2.0协议，所有字段均采用唯一标识符管理，确保数据可追溯性。

使用方法

使用该数据集时建议采用分阶段研究框架。文档语料库可用于训练文档嵌入模型或构建知识图谱，其Markdown版本特别适合研究结构化文本处理。QA数据集分为45组训练样本和30组测试样本，支持开箱即用的模型微调与评估。研究RAG系统时，可通过ground_truths_contexts_ids字段实现答案溯源验证，结合文档URL字段还能进行实时在线测试。数据集采用CSV标准格式，可直接加载至主流机器学习框架进行端到端实验。

背景与挑战

背景概述

watsonxDocsQA数据集是专为增强检索生成（RAG）评估而设计的开源数据集，源自企业产品文档。该数据集由IBM研究团队于近期构建，旨在解决企业文档知识检索与问答系统性能评估的标准化问题。数据集包含1,144份文档和75个问答对，其中25个问题由领域专家手工编写，50个问题通过大语言模型生成并经人工审核。这一数据集的推出填补了企业级文档问答系统评估工具的空白，为RAG技术在复杂工业场景中的应用提供了重要基准。

当前挑战

watsonxDocsQA数据集面临的核心挑战体现在两个方面：在领域问题层面，企业文档通常包含大量专业术语和结构化知识，如何准确评估模型对复杂技术内容的语义理解和推理能力成为关键难题；在构建过程中，人工标注成本与数据规模之间的矛盾尤为突出，虽然采用了大语言模型辅助生成问题，但仍需投入大量专家资源进行质量把控。此外，文档的时效性维护和问答对的场景覆盖度平衡也是持续性的挑战。

常用场景

经典使用场景

在自然语言处理领域，watsonxDocsQA数据集为检索增强生成（RAG）系统的评估提供了标准化基准。该数据集通过包含企业产品文档的文本和标记文件，以及精心设计的问题-答案对，成为评估模型在真实场景下信息检索和答案生成能力的理想工具。研究人员可利用其丰富的文档结构和多样化的提问方式，系统性地测试模型理解复杂技术文档的性能表现。

解决学术问题

该数据集有效解决了RAG系统评估中缺乏标准化技术文档基准的学术难题。通过提供真实企业文档与专家标注的问答对，研究者能够定量分析模型在技术术语理解、多文档信息整合等方面的能力。其人工与合成数据相结合的构建方法，为评估模型的泛化性能提供了科学依据，推动了开放域问答系统评估方法学的进步。

衍生相关工作

该数据集的发布催生了一系列关于技术文档智能处理的研究。基于其构建的基线系统在ACL、EMNLP等顶级会议发表了多篇论文，探讨了跨文档信息检索、技术术语向量化等创新方法。IBM研究团队进一步扩展了该数据集的应用场景，开发了面向金融、医疗等垂直领域的技术文档问答基准。