irds/disks45_nocr_trec-robust-2004_fold4

---
pretty_name: '`disks45/nocr/trec-robust-2004/fold4`'
viewer: false
source_datasets: ['irds/disks45_nocr']
task_categories:
- text-retrieval
---

# Dataset Card for `disks45/nocr/trec-robust-2004/fold4`

The `disks45/nocr/trec-robust-2004/fold4` dataset, provided by the [ir-datasets](https://ir-datasets.com/) package.
For more information about the dataset, see the [documentation](https://ir-datasets.com/disks45#disks45/nocr/trec-robust-2004/fold4).

# Data

This dataset provides:
- `queries` (i.e., topics); count=50
- `qrels`: (relevance assessments); count=57,962

- For `docs`, use [`irds/disks45_nocr`](https://huggingface.co/datasets/irds/disks45_nocr)

## Usage

```python
from datasets import load_dataset

queries = load_dataset('irds/disks45_nocr_trec-robust-2004_fold4', 'queries')
for record in queries:
record # {'query_id': ..., 'text': ...}

qrels = load_dataset('irds/disks45_nocr_trec-robust-2004_fold4', 'qrels')
for record in qrels:
record # {'query_id': ..., 'doc_id': ..., 'relevance': ...}

```

Note that calling `load_dataset` will download the dataset (or provide access instructions when it's not public) and make a copy of the
data in 🤗 Dataset format.

## Citation Information

```
@misc{Voorhees1996Disks45,
title = {NIST TREC Disks 4 and 5: Retrieval Test Collections Document Set},
author = {Ellen M. Voorhees},
doi = {10.18434/t47g6m},
year = {1996},
publisher = {National Institute of Standards and Technology}
}
@inproceedings{Voorhees2004Robust,
title={Overview of the TREC 2004 Robust Retrieval Track},
author={Ellen Voorhees},
booktitle={TREC},
year={2004}
}
@inproceedings{Huston2014ACO,
title={A Comparison of Retrieval Models using Term Dependencies},
author={Samuel Huston and W. Bruce Croft},
booktitle={CIKM},
year={2014}
}
```

---
易读名称：`disks45/nocr/trec-robust-2004/fold4`
查看器：禁用
源数据集：['irds/disks45_nocr']
任务类别：
- 文本检索（text-retrieval）
---

# `disks45/nocr/trec-robust-2004/fold4` 数据集卡片

本`disks45/nocr/trec-robust-2004/fold4`数据集由[ir-datasets](https://ir-datasets.com/)工具包提供。如需了解该数据集的更多详情，请参阅[官方文档](https://ir-datasets.com/disks45#disks45/nocr/trec-robust-2004/fold4)。

## 数据集内容

本数据集包含以下内容：
- 查询（queries，即主题）：共计50条
- 相关性标注（qrels，即相关性评估）：共计57,962条
- 如需获取文档（docs）数据，请使用 [`irds/disks45_nocr`](https://huggingface.co/datasets/irds/disks45_nocr) 数据集。

## 使用方法

python
from datasets import load_dataset

queries = load_dataset('irds/disks45_nocr_trec-robust-2004_fold4', 'queries')
for record in queries:
record # {'query_id': ..., 'text': ...}

qrels = load_dataset('irds/disks45_nocr_trec-robust-2004_fold4', 'qrels')
for record in qrels:
record # {'query_id': ..., 'doc_id': ..., 'relevance': ...}

请注意，调用`load_dataset`函数将自动下载该数据集（若数据集未公开，则会提供访问指引），并将数据转换为🤗 数据集（Dataset）格式。

## 引用信息

@misc{Voorhees1996Disks45,
title = {NIST TREC Disks 4 and 5: Retrieval Test Collections Document Set},
author = {Ellen M. Voorhees},
doi = {10.18434/t47g6m},
year = {1996},
publisher = {National Institute of Standards and Technology}
}
@inproceedings{Voorhees2004Robust,
title={Overview of the TREC 2004 Robust Retrieval Track},
author={Ellen Voorhees},
booktitle={TREC},
year={2004}
}
@inproceedings{Huston2014ACO,
title={A Comparison of Retrieval Models using Term Dependencies},
author={Samuel Huston and W. Bruce Croft},
booktitle={CIKM},
year={2014}
}

原始信息汇总

数据集概述

数据集名称

disks45/nocr/trec-robust-2004/fold4

数据集来源

• 提供者：ir-datasets 包
• 源数据集：irds/disks45_nocr

数据内容

• queries（查询主题）：数量=50
• qrels（相关性评估）：数量=57,962
• docs（文档）：使用 irds/disks45_nocr 数据集

使用示例

python from datasets import load_dataset

queries = load_dataset(irds/disks45_nocr_trec-robust-2004_fold4, queries) for record in queries: record # {query_id: ..., text: ...}

qrels = load_dataset(irds/disks45_nocr_trec-robust-2004_fold4, qrels) for record in qrels: record # {query_id: ..., doc_id: ..., relevance: ...}

引用信息

@misc{Voorhees1996Disks45, title = {NIST TREC Disks 4 and 5: Retrieval Test Collections Document Set}, author = {Ellen M. Voorhees}, doi = {10.18434/t47g6m}, year = {1996}, publisher = {National Institute of Standards and Technology} } @inproceedings{Voorhees2004Robust, title={Overview of the TREC 2004 Robust Retrieval Track}, author={Ellen Voorhees}, booktitle={TREC}, year={2004} } @inproceedings{Huston2014ACO, title={A Comparison of Retrieval Models using Term Dependencies}, author={Samuel Huston and W. Bruce Croft}, booktitle={CIKM}, year={2014} }

搜集汇总

数据集介绍

构建方式

该数据集源自信息检索领域经典评测任务TREC Robust Track 2004，基于NIST发布的TREC Disks 4 and 5语料库构建。作为irds/disks45_nocr的一个子集，它采用fold4划分方式，旨在为检索模型提供稳定的交叉验证基准。数据集包含50条查询（topics）以及57,962条相关性评估记录（qrels），每条查询均配有标准化的查询ID与文本内容，而相关性评估则详细标注了查询与文档之间的关联程度。这种结构化的构建方式确保了数据集在学术研究中具备高度的可复现性与可比性。

使用方法

用户可通过HuggingFace Datasets库便捷加载该数据集，支持两种子集访问方式。调用load_dataset并指定'queries'参数可获取查询集合，每条记录包含查询ID与文本；指定'qrels'参数则可获取相关性判断，记录中提供查询ID、文档ID及相关性等级。加载过程中，系统会自动下载数据并转换为Dataset格式，便于后续处理。需注意，文档数据需通过irds/disks45_nocr数据集另行获取，以完成完整的检索流程。这种模块化设计使得研究人员能够灵活组合查询、文档与评估标准，快速开展实验验证。

背景与挑战

背景概述

在信息检索领域，评估检索模型的鲁棒性（robustness）是推动系统性能提升的关键方向。TREC（Text REtrieval Conference）作为该领域的权威基准平台，于2004年启动了鲁棒检索任务（Robust Retrieval Track），旨在探索如何改进检索系统在处理低质量或困难查询时的表现。由Ellen M. Voorhees领导的NIST团队构建了该数据集，其核心研究问题聚焦于检索模型在面对噪声、模糊或罕见查询时的稳定性和有效性。该数据集基于TREC Disks 4和5文档集，并从中提取了50个查询及近58000条相关性判断，成为检验检索系统鲁棒性的重要标准。其影响力深远，不仅推动了基于术语依赖（term dependencies）等先进检索模型的发展，还为后续研究提供了可复现的评估框架，在文本检索领域确立了不可替代的地位。

当前挑战

该数据集面临的核心挑战包括：首先，在领域问题层面，它旨在解决检索系统对低质量查询的鲁棒性问题，即当查询包含拼写错误、语义模糊或信息稀疏时，传统检索模型往往表现不佳，导致检索精度显著下降。其次，在构建过程中，研究人员需应对人工标注的可靠性挑战——50个查询的选取需确保其覆盖多样性困难场景，而57962条相关性判断的标注需要严格的一致性控制，以避免主观偏差。此外，文档集本身源自早期数字化的TREC Disks 4和5，存在OCR错误和元数据缺失等问题，这进一步增加了评估检索模型真实鲁棒性的难度。最后，数据集的分折（fold）设计（如fold4）旨在支持交叉验证，但如何确保不同折之间查询难度的均衡分布，也是构建过程中必须克服的技术挑战。

常用场景

经典使用场景

在信息检索研究领域，irds/disks45_nocr_trec-robust-2004_fold4数据集作为TREC Robust Track的经典子集，常被用于评估检索系统在面对噪声查询时的鲁棒性。该数据集包含50个查询主题及近五万八千条相关性判断，其核心应用场景是验证模型在文档集合中检索低质量或模糊查询时的性能表现，尤其聚焦于检索精度的稳定性与抗干扰能力，成为衡量检索算法健壮性的标杆基准。

解决学术问题

该数据集精准回应了信息检索中查询变异性的学术难题，即如何确保检索系统在查询表述不完整、存在歧义或包含噪声时仍能稳定输出高质量结果。通过提供标准化的查询与相关性标注，它使研究者能够量化分析不同检索模型在困难查询下的失败模式，推动了查询扩展、伪相关反馈及语义匹配等技术的演进，为构建更具泛化能力的检索框架奠定了实验基础。

实际应用

在实际部署中，该数据集模拟了搜索引擎面对用户非规范输入的真实场景，例如拼写错误、口语化表达或专业术语缺失。基于此数据训练的检索模型可应用于企业知识库的模糊查询优化、法律文档的精准召回以及学术文献的跨领域检索，显著提升了系统在信息噪声环境下的服务可靠性，降低了用户因查询表述不佳导致的信息获取成本。

数据集最近研究

最新研究方向

在信息检索领域，TREC Robust 2004评测任务及其衍生数据集如irds/disks45_nocr_trec-robust-2004_fold4，始终是评估检索模型鲁棒性的重要基准。近年来，随着神经检索模型和预训练语言模型的迅猛发展，该数据集被广泛用于探究模型在面对噪声文本、查询歧义及领域漂移时的表现。前沿研究方向聚焦于如何利用对抗训练、自监督学习以及混合检索策略，提升系统对低质量文档和复杂查询的适应能力。同时，该数据集在分析检索模型对罕见词和跨域迁移的泛化性能方面具有独特价值，推动了鲁棒检索从传统统计方法向深度学习范式的演进，其影响延伸至搜索引擎、智能问答及对话系统等应用场景，为构建更可靠的信息获取基础设施奠定了实验基础。