irds/beir_fever_test

---
pretty_name: '`beir/fever/test`'
viewer: false
source_datasets: ['irds/beir_fever']
task_categories:
- text-retrieval
---

# Dataset Card for `beir/fever/test`

The `beir/fever/test` dataset, provided by the [ir-datasets](https://ir-datasets.com/) package.
For more information about the dataset, see the [documentation](https://ir-datasets.com/beir#beir/fever/test).

# Data

This dataset provides:
- `queries` (i.e., topics); count=6,666
- `qrels`: (relevance assessments); count=7,937

- For `docs`, use [`irds/beir_fever`](https://huggingface.co/datasets/irds/beir_fever)

## Usage

```python
from datasets import load_dataset

queries = load_dataset('irds/beir_fever_test', 'queries')
for record in queries:
record # {'query_id': ..., 'text': ...}

qrels = load_dataset('irds/beir_fever_test', 'qrels')
for record in qrels:
record # {'query_id': ..., 'doc_id': ..., 'relevance': ..., 'iteration': ...}

```

Note that calling `load_dataset` will download the dataset (or provide access instructions when it's not public) and make a copy of the
data in 🤗 Dataset format.

## Citation Information

```
@inproceedings{Thorne2018Fever,
title = "{FEVER}: a Large-scale Dataset for Fact Extraction and {VER}ification",
author = "Thorne, James and
Vlachos, Andreas and
Christodoulopoulos, Christos and
Mittal, Arpit",
booktitle = "Proceedings of the 2018 Conference of the North {A}merican Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers)",
month = jun,
year = "2018",
address = "New Orleans, Louisiana",
publisher = "Association for Computational Linguistics",
url = "https://www.aclweb.org/anthology/N18-1074",
doi = "10.18653/v1/N18-1074",
pages = "809--819"
}
@article{Thakur2021Beir,
title = "BEIR: A Heterogenous Benchmark for Zero-shot Evaluation of Information Retrieval Models",
author = "Thakur, Nandan and Reimers, Nils and Rücklé, Andreas and Srivastava, Abhishek and Gurevych, Iryna",
journal= "arXiv preprint arXiv:2104.08663",
month = "4",
year = "2021",
url = "https://arxiv.org/abs/2104.08663",
}
```

数据集展示名称：`beir/fever/test`
数据集查看器：不可用
源数据集：['irds/beir_fever']
任务类别：
- 文本检索

# `beir/fever/test` 数据集卡片

本`beir/fever/test`数据集由[ir-datasets](https://ir-datasets.com/)工具包提供。如需了解该数据集的更多详情，请参阅[官方文档](https://ir-datasets.com/beir#beir/fever/test)。

## 数据集构成

本数据集包含以下内容：
- `查询集（即主题集）`：共计6666条
- `相关性标注集（qrels）`：共计7937条

如需获取文档集，请使用 [`irds/beir_fever`](https://huggingface.co/datasets/irds/beir_fever) 数据集。

## 使用方法

python
from datasets import load_dataset

queries = load_dataset('irds/beir_fever_test', 'queries')
for record in queries:
record # {'query_id': ..., 'text': ...}

qrels = load_dataset('irds/beir_fever_test', 'qrels')
for record in qrels:
record # {'query_id': ..., 'doc_id': ..., 'relevance': ..., 'iteration': ...}

请注意，调用`load_dataset`函数将自动下载该数据集（若数据集未公开，则会提供访问指引），并将数据集转换为🤗数据集格式进行存储。

## 引用信息

bibtex
@inproceedings{Thorne2018Fever,
title = "{FEVER}: a Large-scale Dataset for Fact Extraction and {VER}ification",
author = "Thorne, James and
Vlachos, Andreas and
Christodoulopoulos, Christos and
Mittal, Arpit",
booktitle = "Proceedings of the 2018 Conference of the North {A}merican Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers)",
month = jun,
year = "2018",
address = "New Orleans, Louisiana",
publisher = "Association for Computational Linguistics",
url = "https://www.aclweb.org/anthology/N18-1074",
doi = "10.18653/v1/N18-1074",
pages = "809--819"
}
@article{Thakur2021Beir,
title = "BEIR: A Heterogenous Benchmark for Zero-shot Evaluation of Information Retrieval Models",
author = "Thakur, Nandan and Reimers, Nils and Rücklé, Andreas and Srivastava, Abhishek and Gurevych, Iryna",
journal= "arXiv preprint arXiv:2104.08663",
month = "4",
year = "2021",
url = "https://arxiv.org/abs/2104.08663",
}

原始信息汇总

数据集概述

数据集名称

beir/fever/test

数据来源

• 源数据集：irds/beir_fever

任务类别

• 文本检索

数据内容

• queries（查询）：6,666条
• qrels（相关性评估）：7,937条
• docs：使用irds/beir_fever数据集

使用示例

python from datasets import load_dataset

queries = load_dataset(irds/beir_fever_test, queries) for record in queries: record # {query_id: ..., text: ...}

qrels = load_dataset(irds/beir_fever_test, qrels) for record in qrels: record # {query_id: ..., doc_id: ..., relevance: ..., iteration: ...}

引用信息

@inproceedings{Thorne2018Fever, title = "{FEVER}: a Large-scale Dataset for Fact Extraction and {VER}ification", author = "Thorne, James and Vlachos, Andreas and Christodoulopoulos, Christos and Mittal, Arpit", booktitle = "Proceedings of the 2018 Conference of the North {A}merican Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers)", month = jun, year = "2018", address = "New Orleans, Louisiana", publisher = "Association for Computational Linguistics", url = "https://www.aclweb.org/anthology/N18-1074", doi = "10.18653/v1/N18-1074", pages = "809--819" } @article{Thakur2021Beir, title = "BEIR: A Heterogenous Benchmark for Zero-shot Evaluation of Information Retrieval Models", author = "Thakur, Nandan and Reimers, Nils and Rücklé, Andreas and Srivastava, Abhishek and Gurevych, Iryna", journal= "arXiv preprint arXiv:2104.08663", month = "4", year = "2021", url = "https://arxiv.org/abs/2104.08663", }

搜集汇总

数据集介绍

构建方式

该数据集源自BEIR基准测试框架，专注于事实验证领域的信息检索任务。其构建基于FEVER数据集，后者是一个大规模的事实验证与抽取数据集，用于评估模型从文本中提取证据并验证事实的能力。irds/beir_fever_test作为测试子集，包含了6,666条查询（queries）和7,937条相关性判断（qrels），其中查询以文本形式呈现，qrels则标注了查询与文档之间的相关性等级。数据集通过ir-datasets包提供，并依托HuggingFace平台进行分发，确保了数据获取的便捷性与标准化。

特点

irds/beir_fever_test的核心特点在于其专注于零样本信息检索评估场景，旨在衡量检索模型在未见领域上的泛化能力。该数据集以事实验证为背景，查询设计紧密围绕事实性陈述，要求模型从大规模文档集合中精准定位相关证据。此外，其与BEIR基准的集成使得该数据集成为评估检索系统鲁棒性的重要工具，尤其适用于跨领域迁移学习研究。数据集规模适中，既保证了统计显著性，又降低了计算资源消耗。

使用方法

使用该数据集时，用户可通过HuggingFace的datasets库直接加载。具体而言，调用load_dataset('irds/beir_fever_test', 'queries')即可获取查询集合，每条记录包含query_id和text字段；而load_dataset('irds/beir_fever_test', 'qrels')则返回相关性判断，包含query_id、doc_id、relevance和iteration字段。文档数据需另行通过irds/beir_fever数据集加载。用户可基于这些组件构建完整的检索评估流程，例如计算NDCG或MAP等指标，以评测模型性能。

背景与挑战

背景概述

在自然语言处理与信息检索的交汇领域，事实核查与证据检索的自动化已成为应对虚假信息泛滥的关键技术。BEIR（Benchmarking Information Retrieval）基准测试集由Nandan Thakur等人于2021年提出，旨在为零样本信息检索模型提供异构评估环境。其中，beir/fever/test子集源自2018年James Thorne等人发布的FEVER数据集，该数据集以大规模事实抽取与验证为核心研究问题，由剑桥大学与亚马逊研究团队联合创建。该测试集包含6,666条查询与7,937个相关性判断，聚焦于从维基百科文档中检索支持或反驳给定声明的证据。其影响力不仅体现在推动信息检索模型在零样本场景下的泛化能力评估，更为事实核查系统提供了标准化的验证基准，促进了可解释人工智能与可信信息检索的交叉发展。

当前挑战

该数据集所解决的领域问题在于信息检索模型对未见领域与任务的泛化能力不足，尤其是事实核查场景中，模型需从海量文档中精准定位与声明相关的证据片段，这对跨域语义匹配与细粒度相关性判断构成严峻挑战。构建过程中，原始FEVER数据集通过人工标注与对抗性采样生成声明-证据对，但测试集仅保留查询与相关性标签，缺乏文档内容，导致研究者需依赖外部语料库，增加了实验复现的复杂性。此外，查询与文档间的语义鸿沟在零样本设置下被放大，模型需克服训练分布与测试分布的不一致性，这对检索架构的鲁棒性与领域适应能力提出了更高要求。

常用场景

经典使用场景

在信息检索与事实核查的交叉领域中，irds/beir_fever_test数据集作为BEIR基准测试套件的一部分，专为评估检索系统在零样本场景下的泛化能力而设计。其经典使用场景聚焦于基于事实提取与验证（FEVER）任务的文本检索，研究人员利用该数据集中的6,666条查询与7,937个相关性判断，测试模型能否从大规模文档集合中精准定位支持或反驳给定声明的证据片段。这一设置不仅衡量检索系统的精确性与召回率，更检验其对复杂事实性问题的语义理解深度。

衍生相关工作

该数据集催生了多项里程碑式研究。Thakur等人提出的BEIR基准直接以此为基石，系统评估了DPR、ColBERT等主流检索模型的零样本性能；后续的SPLADE-v2、GPL等稀疏-密集混合架构，通过自监督对比学习在FEVER测试集上刷新了零样本检索精度。此外，基于此数据集的证据排序任务还衍生出FactKG等知识图谱增强方法，将结构化推理与语义检索深度融合，为可解释性事实验证开辟了新路径。

数据集最近研究

最新研究方向

在信息检索与事实核查交叉领域，irds/beir_fever_test数据集正成为评估零样本检索模型在事实验证任务中表现的关键基准。该数据集源自FEVER大规模事实验证挑战，结合BEIR异构基准框架，推动了检索系统从传统相关性匹配向事实性证据定位的前沿演进。近年研究热点聚焦于利用该数据集检验预训练语言模型在未见领域上的泛化能力，尤其是在对抗性虚假信息检测与多跳推理场景中。随着大语言模型在事实一致性任务中的广泛应用，该数据集为衡量检索增强生成（RAG）系统的证据召回精度提供了标准化测试平台，其意义在于揭示模型在处理真实世界错误信息时的鲁棒性瓶颈，进而推动可解释、可验证的智能检索架构发展。