BroDeadlines/EVAL.RAG.evaluation

该数据集包含多个特征，如问题、答案、URL、组别、文档ID、元数据、执行时间等。数据集分为两个部分：propostion_parent_k4和tdt_propostion_parent_k4，每个部分包含144个样本。数据集的总下载大小为147490字节，总大小为562816字节。此外，README文件还包含了关于QA、RAG、IR、BLEU和ROUGE-L的详细报告结果，这些结果涉及精确度、召回率、MAP分数、BLEU分数和ROUGE-L分数等指标。

The dataset includes multiple features such as question, answer, URL, group, doc_id, metadata, and execution time. The dataset is divided into two parts: propostion_parent_k4 and tdt_propostion_parent_k4, each containing 144 samples. The total download size of the dataset is 147490 bytes, and the total size is 562816 bytes. Additionally, the README file contains detailed report results on QA, RAG, IR, BLEU, and ROUGE-L, which include metrics such as precision, recall, MAP score, BLEU score, and ROUGE-L score.

原始信息汇总

数据集概述

数据集信息

• 特征:

  • question: 问题，类型为字符串。
  • answer: 答案，类型为字符串。
  • url: URL链接，类型为字符串。
  • group: 分组，类型为字符串。
  • doc_id: 文档ID，类型为字符串。
  • metadata: 元数据，类型为字符串。
  • exc_second: 执行时间（秒），类型为浮点数。
  • evaluation: 评估信息，包含以下子特征：
    • content: 内容，类型为字符串。
    • doc_id: 文档ID，类型为字符串。
    • score: 分数，类型为浮点数。

• 数据集分割:

  • propostion_parent_k4:
    • 字节数: 281408
    • 样本数: 144
  • tdt_propostion_parent_k4:
    • 字节数: 281408
    • 样本数: 144

• 下载大小: 147490 字节

• 数据集大小: 562816 字节

配置信息

• 配置名称: default
  • 数据文件:
    • propostion_parent_k4: 路径为 data/propostion_parent_k4-*
    • tdt_propostion_parent_k4: 路径为 data/tdt_propostion_parent_k4-*

搜集汇总

数据集介绍

构建方式

在检索增强生成（RAG）技术蓬勃发展的背景下，该数据集专为评估RAG系统性能而构建。其构建过程以问答对为核心，每个样本包含问题、答案、来源URL、所属分组、文档标识符及元数据，并记录了回答的生成耗时。尤为关键的是，数据集引入了多层次评估结构，为每个问题关联了多个候选文档片段及其评分，从而支持对检索与生成环节的联合分析。数据划分为`default`与`no_parent`两种配置，前者包含带有父检索器信息的子集，后者则作为对照，便于探究不同检索策略对生成质量的影响。

特点

该数据集最显著的特点在于其精细化的评估指标体系。它不单提供基础的问答对，更内置了基于BLEU、ROUGE-L等自动评价指标的评测结果，以及信息检索层面的精确率、召回率和平均精度均值（MAP）等关键数值。这种设计使得研究者能够从检索相关性、生成忠实度等多个维度量化RAG系统的表现。此外，数据集包含了不同检索算法（如命题检索、父检索器、混合搜索）和不同大语言模型（如gemini-1.0-pro与gemini-1.5-flash）的对比实验结果，为深入分析各组件贡献提供了宝贵资源。

使用方法

使用该数据集时，研究者可直接加载HuggingFace上的预定义配置。通过指定`default`或`no_parent`配置名，可便捷地获取带有不同检索策略标注的评估数据。每个样本中的`question`字段可作为RAG系统的输入，`answer`字段作为参考答案，而`evaluation`列表则提供了检索到的文档片段及其评分，便于计算检索指标。数据集已预置了多个实验的结果报告，用户可直接复现或对比不同算法配置下的性能差异，亦可扩展新的评估维度，如替换评估用的大语言模型或调整检索参数（如k值、文本与向量权重）。

背景与挑战

背景概述

检索增强生成（RAG）技术作为缓解大语言模型事实性错误与知识固化的关键范式，近年来受到广泛关注。在此背景下，BroDeadlines/EVAL.RAG.evaluation数据集于2024年由BroDeadlines团队构建，旨在系统评估RAG系统在教育领域的问答表现。该数据集以越南语学业咨询（TDT FQA）为应用场景，包含144个精心设计的问答对，每个问题均关联特定的文档片段与人工标注的评估分数。研究团队采用命题检索、父文档检索与混合搜索三种算法，并结合Gemini系列大语言模型进行端到端评测，为RAG系统的鲁棒性验证提供了标准化基准。该数据集的出现填补了低资源语言下RAG评估资源的空白，对推动多语言信息检索与问答系统的可信部署具有重要价值。

当前挑战

该数据集面临的核心挑战在于多维度评估指标的平衡与优化。在信息检索层面，尽管父文档检索策略在召回率上表现优异（k=8时达0.95），但其精确度始终徘徊于0.66左右，反映出检索结果中仍存在大量噪声，如何在不牺牲召回率的前提下提升精确度成为关键难题。在文本生成层面，BLEU-4平均值仅为0.133，表明模型生成的答案与参考答案在n-gram重合度上存在显著差距，语义忠实度有待增强。此外，数据集构建过程中面临标注一致性挑战，由于每个问答对需同时关联文档ID与多维度评分（内容、得分），人工标注的跨评判者信度难以保证。不同检索策略（如命题检索与父检索）在相同数据集上的性能差异（如召回率从0.12跃升至0.87）也揭示了算法泛化性的不稳定，亟需更鲁棒的评估框架来统一标准。

常用场景

经典使用场景

在检索增强生成（RAG）技术的研究浪潮中，EVAL.RAG.evaluation数据集为评估RAG系统的整体性能提供了经典基准。其设计巧妙地融合了命题（proposition）与父检索器（parent retriever）策略，并辅以混合搜索（hybrid search）算法，从而能够系统地衡量不同检索深度（k值）下的检索精度、召回率与平均精度均值（MAP）。该数据集通过记录生成答案的BLEU与ROUGE-L评分，实现了对检索与生成环节的联合评估，是探究RAG管线中检索质量如何影响最终生成忠实度与连贯性的理想实验平台。

衍生相关工作

该数据集催生了一系列关于RAG系统鲁棒性与效率的后续研究。例如，基于其提供的父检索器配置，衍生出了针对长文本分段策略（如滑动窗口与语义分块）的对比分析工作。此外，研究者利用其多维度评估指标（如MAP与ROUGE-L），提出了自适应k值选择算法，旨在动态平衡检索召回率与计算开销。这些衍生工作共同推动了RAG技术从实验室原型向高可靠、低延迟的生产环境部署的演进。

数据集最近研究

最新研究方向

该数据集聚焦于检索增强生成（RAG）在教育领域的前沿评估，特别是针对越南语心理咨询问答场景。通过集成命题检索、父检索器与混合搜索算法，研究深入探索了不同检索策略对信息召回率与生成质量的影响。实验对比了Gemini系列模型在相同数据上的表现，揭示了父检索机制在显著提升召回率（如k=8时超95%）的同时，可能对生成文本的流畅度（如BLEU值）产生微妙影响。这一方向紧密关联当前大语言模型落地时面临的知识时效性与幻觉控制热点，为构建可靠、可解释的教育领域知识问答系统提供了关键的量化基准与优化路径。