BroDeadlines/EVAL.IR_evaluation

该数据集包含多个特征，如问题、答案、URL、组别、文档ID、评估和元数据。数据集被分割成多个部分，每个部分有不同的字节大小和示例数量。评估结果部分展示了不同分割的算法性能，包括精度、召回率和平均精度等指标。该数据集包含多个特征，如问题、答案、URL、组别、文档ID、评估和元数据。数据集被分割成多个部分，每个部分有不同的字节大小和示例数量。评估结果部分展示了不同分割的算法性能，包括精度、召回率和平均精度等指标。

原始信息汇总

数据集概述

数据集特征

• question: 字符串类型
• answer: 字符串类型
• url: 字符串类型
• group: 字符串类型
• doc_id: 字符串类型
• evaluation: 列表类型，包含以下字段：
  • content: 字符串类型
  • doc_id: 字符串类型
  • score: 浮点数类型
• metadata: 字符串类型

数据集分割

• TEST.basic_test_tdt_dataset: 189180字节，20个样本
• INDEX.medium_index_TDT: 4968179字节，144个样本
• INDEX.medium_index_TDT.hyde_vector: 778218字节，144个样本
• INDEX.medium_index_TDT.proposition.hybrid: 2461761字节，144个样本
• INDEX.medium_index_TDT.proposition.sentence.hybrid: 375307字节，144个样本
• INDEX.medium_index_TDT.fulltext.clean.proposition.sentence.hybrid: 5984807字节，144个样本
• INDEX.medium_index_TDT.fulltext.clean.8.proposition.sentence.hybrid: 2139530字节，144个样本
• INDEX.medium_index_TDT.fulltext.clean.2.proposition.sentence.hybrid: 1063217字节，144个样本
• TEST.basic_raptor_TDT: 345012.43055555556字节，10个样本

数据集大小

• 下载大小: 2280352字节
• 数据集大小: 18305211.430555556字节

配置

• 配置名称: default
• 数据文件:
  • TEST.basic_test_tdt_dataset: data/TEST.basic_test_tdt_dataset-*
  • INDEX.medium_index_TDT: data/INDEX.medium_index_TDT-*
  • INDEX.medium_index_TDT.hyde_vector: data/INDEX.medium_index_TDT.hyde_vector-*
  • INDEX.medium_index_TDT.proposition.hybrid: data/INDEX.medium_index_TDT.proposition.hybrid-*
  • INDEX.medium_index_TDT.proposition.sentence.hybrid: data/INDEX.medium_index_TDT.proposition.sentence.hybrid-*
  • INDEX.medium_index_TDT.fulltext.clean.proposition.sentence.hybrid: data/INDEX.medium_index_TDT.fulltext.clean.proposition.sentence.hybrid-*
  • INDEX.medium_index_TDT.fulltext.clean.8.proposition.sentence.hybrid: data/INDEX.medium_index_TDT.fulltext.clean.8.proposition.sentence.hybrid-*
  • INDEX.medium_index_TDT.fulltext.clean.2.proposition.sentence.hybrid: data/INDEX.medium_index_TDT.fulltext.clean.2.proposition.sentence.hybrid-*
  • TEST.basic_raptor_TDT: data/TEST.basic_raptor_TDT-*

搜集汇总

数据集介绍

构建方式

在信息检索（IR）领域，评估数据集的构建对于衡量检索算法的性能至关重要。BroDeadlines/EVAL.IR_evaluation数据集基于BroDeadlines/TEST.edu_tdt_data原始数据，通过系统化的规则创建了多个评测分片（split）。每个分片的命名遵循特定约定：以原始数据分片为基础，在第二个点之后附加运行结果的描述。数据集包含了从基础测试集到多种索引变体的丰富分片，如INDEX.medium_index_TDT及其衍生版本（如hyde_vector、proposition.sentence.hybrid等），以及采用RAPTOR策略的测试集。每个分片均包含问题（question）、答案（answer）、URL、分组（group）、文档ID（doc_id）以及详细的评估字段（evaluation），其中评估字段记录了内容、文档ID和得分，从而为检索系统的精确评估提供了结构化支持。

特点

该数据集的核心特点在于其多维度的评估框架和丰富的索引变体。首先，数据集涵盖了多种检索算法策略，包括HyDE（假设性文档嵌入）、基于命题（proposition）的检索、句子编码（sentence-encoding）以及全文编码（full-text-encoding）等，并支持混合搜索（hybrid search）与父文档检索（parent document retrieval）的融合。其次，数据集通过调整检索参数（如total_k值从2到20）和混合权重（如[0.4, 0.6]），提供了细粒度的性能对比。评估指标包括精确率（precision）、召回率（recall）和平均精度均值（MAP），例如在INDEX.medium_index_TDT.proposition.sentence.hybrid分片中，召回率高达0.951，体现了混合策略的优越性。此外，数据集的大小从10到144个样本不等，兼顾了轻量测试与深度评估的需求。

使用方法

使用BroDeadlines/EVAL.IR_evaluation数据集时，研究者可通过HuggingFace Datasets库直接加载。数据集配置为'default'，包含多个分片，每个分片对应不同的检索策略和索引变体。例如，加载TEST.basic_test_tdt_dataset可获取基础测试数据，而INDEX.medium_index_TDT.fulltext.clean.proposition.sentence.hybrid则用于评估结合全文清洗与混合搜索的算法。用户可根据需要指定分片名称，如使用`load_dataset('BroDeadlines/EVAL.IR_evaluation', split='INDEX.medium_index_TDT.hyde_vector')`来访问特定索引变体。每个样本包含question、answer、url等字段，评估结果则以evaluation列表形式提供，便于计算自定义指标。该数据集特别适用于对比不同检索策略（如向量搜索与混合搜索）在特定场景下的性能，是信息检索系统调优与基准测试的理想工具。

背景与挑战

背景概述

在信息检索（IR）领域，如何精准评估检索系统在复杂文档集合上的表现始终是核心研究问题。由BroDeadlines团队创建的EVAL.IR_evaluation数据集，聚焦于教育主题文档（TDT）的检索评估，旨在为HyDE（假设性文档嵌入）、混合搜索、命题编码及全文索引等前沿算法提供标准化测试平台。该数据集通过构建包含多粒度索引（如中型索引TDT及其变体）和多样化查询的测试集，系统性地度量了不同检索策略在精确率、召回率及平均精度（MAP）上的差异。其影响力体现在为学术界提供了一套可复现的基准，使得研究者能够对比分析向量搜索、混合检索及父文档检索等技术在真实教育文本环境中的优劣，从而推动检索模型的迭代优化。

当前挑战

当前数据集面临的核心挑战包括：其一，在领域问题层面，教育文档检索需应对语义多样性（如同义术语、跨段落推理）与结构复杂性（如长文档的层次化信息分布），这使得传统基于关键词的检索指标难以全面反映实际需求，而HyDE等生成式方法虽能提升召回却可能引入噪声，导致精确率波动。其二，在构建过程中，数据集需平衡索引规模与查询覆盖度——例如从144条中型索引到20条测试集的缩减虽便于实验，但可能遗漏长尾语义模式；同时，混合搜索权重的设定（如0.4与0.6的分配）缺乏理论指导，依赖经验调参，影响评估结果的泛化性。此外，多版本索引（如全文清洗、命题分句）的维护增加了数据一致性的管理难度，需确保不同预处理流程下的检索结果可比性。

常用场景

经典使用场景

在信息检索领域，该数据集被设计为评估检索系统性能的基准测试平台，尤其适用于对基于稠密向量检索、稀疏文本检索以及混合检索策略的评测。研究者可借助其包含的多样化索引配置（如HyDE向量、命题句子混合索引）和丰富的评估指标（精确率、召回率、平均精度均值），深入剖析不同检索算法在学术文档检索任务中的表现差异。

解决学术问题

该数据集有效回应了信息检索研究中长期存在的两大核心难题：如何在高维语义空间中实现精准的文档匹配，以及如何融合多种检索范式以提升整体鲁棒性。通过提供标准化的评测框架与多维度索引结构，它帮助学界系统性地比较HyDE、混合搜索、命题编码等前沿方法的效果，为优化检索架构与设计更高效的排序策略奠定了实证基础。

衍生相关工作

基于该数据集，研究者已衍生出多项经典工作，包括对HyDE（假设文档嵌入）策略在不同索引粒度下的效果验证，以及探索命题级与句子级混合检索对长文档检索性能的影响。此外，关于全文清洗与分段检索的对比实验，也进一步揭示了数据预处理与索引结构设计之间的交互关系，推动了检索系统向精细化、可解释性方向发展。