evgenypal/k8s-docs-rag-bench

k8s-docs-rag-bench是一个完全基于Kubernetes官方文档的小型基准数据集，用于检索增强问答（RAG）任务。该数据集包含问答对、语义分块的文档语料库以及LLM评估标签，旨在支持密集/稀疏/混合检索技术测试、基于LoRA的小型开源LLM训练以及论文中管道消融和LoRA排名研究的复现。数据集基于Kubernetes文档的特定快照构建，所有问答对均经过人工检查，并采用页面级分割以确保泛化能力。k8s-docs-rag-bench is a small-scale benchmark dataset entirely based on the official Kubernetes documentation, designed for retrieval-augmented generation (RAG) tasks. This dataset includes question-answer pairs, semantically chunked document corpora, and LLM evaluation labels, aiming to support tests of dense/sparse/hybrid retrieval techniques, fine-tuning of small open-source LLMs based on LoRA, and reproduction of pipeline ablation and LoRA ranking studies in academic papers. The dataset is constructed from a specific snapshot of Kubernetes documentation, with all question-answer pairs manually reviewed and page-level segmentation adopted to ensure generalization capability.

搜集汇总

数据集介绍

构建方式

k8s-docs-rag-bench数据集基于Kubernetes官方文档构建，旨在评估检索增强生成（RAG）管道的性能。数据集的构建过程始于对Kubernetes文档站点/docs/目录下956个HTML页面的完整爬取，抓取时间点为2026年2月4日，对应Kubernetes v1.34/v1.35版本。原始文档中的标题、段落、列表、内联代码和围栏代码块等散文内容被保留，而图像则被排除。随后，这些文档内容经过语义分块处理，生成约7,908个语义块，每个块的目标长度为256个token，并附带了最近的章节锚点作为标题。在此基础上，研究者手工编写了5,144个问答对，每个问答对都严格对应到一个特定块和一个特定页面，并通过手工检查确保答案的准确性。数据集采用页面级分割，将每个文档页面完整地分配到训练集、验证集或测试集中，从而避免了跨页面的信息泄露，确保了对未见页面泛化能力的真实评估。此外，数据集还包含172,700行由GPT-5.4-mini作为评判模型生成的标签数据，涵盖了10种检索策略与22种生成器配置的组合。

特点

该数据集具备多项鲜明的特性。首先，它聚焦于单一技术领域——Kubernetes，这虽然限制了结论的普适性，但确保了评估环境的专业性和一致性。其次，数据集的构建高度精良：问答对均源自手工编写，确保了语义的准确性与引用链条的完整性；页面级分割策略在同类基准中较少采用，能够更真实地反映检索系统对全新文档的泛化能力。第三，数据集支持多维度实验设计：包含训练集、验证集和测试集，适用于检索器微调与LoRA参数高效微调等任务。此外，数据集内嵌了丰富的评估元数据——judge_labels配置中记录了每个系统在每道测试题上的正确性与扎根性评分、支持性证据及其推理过程，这为可解释性分析与评判模型的复现提供了便利。数据集整体采用CC-BY-4.0许可协议，兼容开放科学精神，且其配套论文公布了详细的分层消融实验与LoRA秩搜索范式，为后续研究者提供了可靠的参考基准。

使用方法

使用k8s-docs-rag-bench数据集的过程极为便捷。用户可通过HuggingFace Datasets库中的load_dataset函数直接加载三个配置：qa配置包含问答对（3,614训练、745验证、785测试），corpus配置包含7,908个语义块，judge_labels配置包含172,700行评判标签。典型的使用流程是：首先从corpus中构建嵌入索引，可以使用稠密检索（如BGE-M3的稠密向量）与稀疏检索（如BGE-M3的稀疏向量）的混合策略，再通过重排序器（如BGE-Reranker-v2-M3）对检索结果排序，最后将检索到的Top-K文档片段输入到大语言模型中生成答案。研究者也可直接复用论文中的10种检索消融设置与22种生成器配置，以复现质量-延迟-资源权衡分析。judge_labels配置支持直接对比模型输出与评判分数，或使用其中的证据和推理字段重新评判。数据集提供稳定的ID与显式的字段结构，便于进行广泛的检索与生成联合优化实验。

背景与挑战

背景概述

k8s-docs-rag-bench是一个面向检索增强生成（RAG）技术的小型、全标注基准数据集，由Evgenii Palnikov和Elizaveta Gavrilova于2026年创建，旨在评估基于Kubernetes官方技术文档的问答系统性能。该数据集涵盖5144个手动编写的问题-答案对，以及7908个语义切分的文档块和172,700个由大语言模型作为评判者生成的标签，支持稠密/稀疏/混合检索策略与LoRA微调技术的系统研究。其核心研究问题在于平衡RAG系统中的质量、延迟与计算资源之间的权衡，为技术文档领域提供了首个专门化的评估平台，对推动云原生技术文档的智能问答系统研究具有重要影响力。

当前挑战

该数据集所解决的领域挑战在于：技术文档（如Kubernetes官方文档）具有多层级、多页面且内容高度专业化的特点，传统检索方法难以准确捕获用户意图，而RAG系统在质量、延迟与资源消耗之间往往存在矛盾，缺乏统一的标准化评估基准。构建过程中面临的主要挑战包括：如何设计页面级分割策略以确保泛化性能的真实评估，如何手动撰写与特定文档块精确锚定、同时覆盖概念、任务、教程等多种页面类型的问题-答案对，以及如何系统性地标注不同检索链路（如纯稠密、稀疏、混合BM25）与不同LoRA配置（如秩参数与目标模块变化）下的系统表现，以形成可靠的大语言模型评判标签集。

常用场景

经典使用场景

k8s-docs-rag-bench作为一款面向Kubernetes官方文档的检索增强生成基准测试数据集，其经典使用场景集中在评估和优化技术文档领域的问答系统。研究者可基于该数据集测试稠密、稀疏及混合检索方法在真实多页技术文档上的表现，同时借助其精心设计的页面级数据划分（训练集、验证集、测试集分别覆盖不同文档页面），模拟检索器在未见页面上的泛化能力。该数据集还特别支持通过LoRA微调小型开放权重语言模型（如Llama-3.x系列），在文档锚定的问答任务中探索质量-延迟-资源三者间的权衡关系，为构建高效、轻量的技术文档RAG助手提供可复现的实验平台。

实际应用

在实际应用层面，k8s-docs-rag-bench所模拟的正是企业级技术文档智能问答助手的典型部署场景。Kubernetes文档作为全球最复杂的开源技术文档之一，其层级化、多类型（概念、任务、教程、参考）的文档结构对检索和生成系统提出了严峻挑战。该数据集可用于开发面向DevOps团队的即时问答工具，帮助运维人员在处理集群配置、故障排查等任务时，从海量文档中快速定位精确的解决方案。此外，其研究成果可直接指导云原生企业构建私有化、低延迟的文档辅助系统，在资源受限环境中通过LoRA适配实现轻量化部署，提升技术支持和知识管理效率。

衍生相关工作

该数据集衍生的经典工作体现在其配套论文《Analyzing Quality–Latency–Resource Trade-offs in a Technical Documentation RAG Assistant Using LoRA Adaptation》中，该研究基于此数据集系统评估了10种检索管线变体（包括基础混合检索、无重排序器、仅稠密、仅稀疏及经典BM25消融）与22种生成器配置（涵盖不同基数模型、LoRA秩及目标模块）的协同效应。这项工作直接推动了后续关于RAG管线中检索粒度与生成质量关系的研究，并启发了一系列针对技术文档的知识密集型任务评估标准。同时，数据集中开放的LLM评判标签（含原始证据引用和推理过程）为检验自动化评估方法的可靠性提供了基准，促进了LLM-as-a-Judge范式在特定领域内的验证与改进。