irds/beir_fiqa_train

---
pretty_name: '`beir/fiqa/train`'
viewer: false
source_datasets: ['irds/beir_fiqa']
task_categories:
- text-retrieval
---

# Dataset Card for `beir/fiqa/train`

The `beir/fiqa/train` dataset, provided by the [ir-datasets](https://ir-datasets.com/) package.
For more information about the dataset, see the [documentation](https://ir-datasets.com/beir#beir/fiqa/train).

# Data

This dataset provides:
- `queries` (i.e., topics); count=5,500
- `qrels`: (relevance assessments); count=14,166

- For `docs`, use [`irds/beir_fiqa`](https://huggingface.co/datasets/irds/beir_fiqa)

## Usage

```python
from datasets import load_dataset

queries = load_dataset('irds/beir_fiqa_train', 'queries')
for record in queries:
record # {'query_id': ..., 'text': ...}

qrels = load_dataset('irds/beir_fiqa_train', 'qrels')
for record in qrels:
record # {'query_id': ..., 'doc_id': ..., 'relevance': ..., 'iteration': ...}

```

Note that calling `load_dataset` will download the dataset (or provide access instructions when it's not public) and make a copy of the
data in 🤗 Dataset format.

## Citation Information

```
@article{Maia2018Fiqa,
title={WWW'18 Open Challenge: Financial Opinion Mining and Question Answering},
author={Macedo Maia and S. Handschuh and A. Freitas and Brian Davis and R. McDermott and M. Zarrouk and A. Balahur},
journal={Companion Proceedings of the The Web Conference 2018},
year={2018}
}
@article{Thakur2021Beir,
title = "BEIR: A Heterogenous Benchmark for Zero-shot Evaluation of Information Retrieval Models",
author = "Thakur, Nandan and Reimers, Nils and Rücklé, Andreas and Srivastava, Abhishek and Gurevych, Iryna",
journal= "arXiv preprint arXiv:2104.08663",
month = "4",
year = "2021",
url = "https://arxiv.org/abs/2104.08663",
}
```

数据集名称：`beir/fiqa/train`
查看器：否
源数据集：['irds/beir_fiqa']
任务类别：文本检索

---

# `beir/fiqa/train` 数据集卡片

本`beir/fiqa/train`数据集由[ir-datasets](https://ir-datasets.com/)工具包提供。如需了解该数据集的更多详情，请参阅[官方文档](https://ir-datasets.com/beir#beir/fiqa/train)。

## 数据

本数据集包含以下内容：
- 查询（queries，即主题）：共计5500条
- 相关性标注（qrels）：共计14166条

- 如需获取文档（docs）数据，请使用 [`irds/beir_fiqa`](https://huggingface.co/datasets/irds/beir_fiqa) 数据集。

## 使用方法

python
from datasets import load_dataset

queries = load_dataset('irds/beir_fiqa_train', 'queries')
for record in queries:
record # {'query_id': ..., 'text': ...}

qrels = load_dataset('irds/beir_fiqa_train', 'qrels')
for record in qrels:
record # {'query_id': ..., 'doc_id': ..., 'relevance': ..., 'iteration': ...}

请注意，调用`load_dataset`函数将自动下载该数据集（若数据集未公开，则会提供访问指引），并将数据转换为🤗数据集格式。

## 引用信息

@article{Maia2018Fiqa,
title={WWW'18 Open Challenge: Financial Opinion Mining and Question Answering},
author={Macedo Maia and S. Handschuh and A. Freitas and Brian Davis and R. McDermott and M. Zarrouk and A. Balahur},
journal={Companion Proceedings of the The Web Conference 2018},
year={2018}
}
@article{Thakur2021Beir,
title = "BEIR: A Heterogenous Benchmark for Zero-shot Evaluation of Information Retrieval Models",
author = "Thakur, Nandan and Reimers, Nils and Rücklé, Andreas and Srivastava, Abhishek and Gurevych, Iryna",
journal= "arXiv preprint arXiv:2104.08663",
month = "4",
year = "2021",
url = "https://arxiv.org/abs/2104.08663",
}

原始信息汇总

数据集概述

数据集名称

beir/fiqa/train

数据来源

• 来源：ir-datasets
• 原始数据集：irds/beir_fiqa

数据内容

• queries: 查询数据，共计5,500条
• qrels: 相关性评估数据，共计14,166条
• docs: 文档数据，需从irds/beir_fiqa获取

数据使用示例

python from datasets import load_dataset

加载查询数据

queries = load_dataset(irds/beir_fiqa_train, queries) for record in queries: record # {query_id: ..., text: ...}

加载相关性评估数据

qrels = load_dataset(irds/beir_fiqa_train, qrels) for record in qrels: record # {query_id: ..., doc_id: ..., relevance: ..., iteration: ...}

引用信息

@article{Maia2018Fiqa, title={WWW18 Open Challenge: Financial Opinion Mining and Question Answering}, author={Macedo Maia and S. Handschuh and A. Freitas and Brian Davis and R. McDermott and M. Zarrouk and A. Balahur}, journal={Companion Proceedings of the The Web Conference 2018}, year={2018} } @article{Thakur2021Beir, title = "BEIR: A Heterogenous Benchmark for Zero-shot Evaluation of Information Retrieval Models", author = "Thakur, Nandan and Reimers, Nils and Rücklé, Andreas and Srivastava, Abhishek and Gurevych, Iryna", journal= "arXiv preprint arXiv:2104.08663", month = "4", year = "2021", url = "https://arxiv.org/abs/2104.08663", }

搜集汇总

数据集介绍

构建方式

在信息检索领域，金融文本的语义匹配与问答任务对模型性能提出了严峻挑战。该数据集源自BEIR基准测试套件，基于FiQA金融意见挖掘与问答挑战赛构建，旨在评估检索模型在零样本场景下的泛化能力。其构建方式聚焦于金融领域查询与文档的相关性标注，包含5,500条查询及14,166条相关性判断记录，文档部分则复用irds/beir_fiqa数据集的原始语料，从而形成统一的检索评估框架。

特点

该数据集的核心特色在于其金融领域的专业性与零样本评估的适配性。查询内容涵盖金融产品、市场趋势等真实用户问题，相关性标注精细且具有领域特异性。作为BEIR基准的子集，它支持跨领域泛化性能的度量，同时保持数据格式的简洁性——仅提供查询标识与文本、文档标识与相关性分数，便于研究者聚焦于模型架构创新而非数据预处理。

使用方法

使用该数据集时，可通过HuggingFace的datasets库便捷加载。调用load_dataset('irds/beir_fiqa_train', 'queries')可获取查询集合，每条记录包含query_id与text字段；调用load_dataset('irds/beir_fiqa_train', 'qrels')可获取相关性判断，包含query_id、doc_id、relevance及iteration字段。文档数据需从irds/beir_fiqa独立加载，三者结合即可构建完整的检索实验管线，适用于稠密检索、稀疏检索等模型的零样本评估。

背景与挑战

背景概述

在信息检索领域，针对特定垂直领域的文本检索任务始终是研究热点，尤其是金融领域因其术语专业、语义复杂且数据稀疏而极具挑战性。irds/beir_fiqa_train数据集由爱尔兰国立大学梅努斯分校的Macedo Maia等研究人员于2018年创建，源自WWW'18开放挑战赛中的金融意见挖掘与问答任务，后由Thakur等人整合至BEIR基准中用于零样本检索评估。该数据集包含5500条查询与14166条相关性判断，核心研究问题是如何在缺乏领域内训练数据的情况下，提升检索模型对金融文本的语义理解与匹配能力。作为BEIR基准的重要组成部分，它为评估跨领域信息检索模型的泛化性能提供了关键测试床，推动了密集检索与零样本学习在金融场景中的应用探索。

当前挑战

该数据集面临的核心挑战首先在于金融领域特有的专业术语歧义性与语义稀疏性，查询与文档之间往往存在隐晦的语义关联，传统词匹配方法难以捕捉，而现代神经网络模型也常因领域迁移而性能骤降。其次，数据构建过程中存在显著困难：原始数据源自社区问答平台，噪声较多，需人工标注相关性判断，但金融知识的专业性限制了标注者规模，导致标注一致性难以保障。此外，查询长度普遍较短（常为金融产品名称或缩略语），而文档则包含冗长的监管文本与专业报告，这种长度与风格的不对称对检索模型的跨粒度匹配能力提出了严峻考验。

常用场景

经典使用场景

在信息检索与自然语言处理交叉领域中，irds/beir_fiqa_train数据集被广泛用作金融领域查询与文档相关性匹配的基准测试平台。该数据集包含5500条查询及其对应的14166条相关性判断，为研究者提供了高精度的标注数据，用于训练和评估检索模型在零样本场景下的泛化能力。其经典使用方式是基于查询文本与金融文档库之间的语义关联，构建端到端的检索系统，从而验证模型在专业术语密集、语境复杂的金融问答任务中的表现。

衍生相关工作

基于该数据集，学界衍生了一系列经典工作，包括BEIR基准的构建（Thakur et al., 2021），其将fiqa作为零样本评估的关键组件，系统对比了多种检索模型的迁移能力。后续研究如SPLADE、ColBERT等稀疏与密集检索架构，均在此数据集上进行了消融实验与性能验证。此外，针对金融领域特性，研究者进一步提出了领域微调策略与对比学习框架，如FinBERT与FiQA-Task，显著提升了模型在专业术语理解与情感分析方面的检索精度。

数据集最近研究

最新研究方向

在金融领域信息检索的前沿探索中，irds/beir_fiqa_train数据集作为BEIR基准测试的重要组成部分，正推动着零样本检索模型的评估与优化。随着金融文本挖掘与智能问答需求的激增，该数据集聚焦于金融领域的观点挖掘与问题回答，为研究者在缺乏领域标注数据的情况下评估检索系统鲁棒性提供了关键支撑。当前研究热点集中于利用对比学习和预训练语言模型（如Sentence-BERT）在该数据集上进行零样本迁移学习，以提升金融专业术语的语义匹配精度。同时，该数据集在WWW'18金融开放挑战赛中的原始应用，进一步凸显了其作为跨领域检索能力验证标杆的价值，对推动金融科技中实时信息抽取与决策支持系统的迭代具有深远意义。