BeIR/fiqa

BEIR是一个异构基准测试，由18个不同的数据集组成，代表了9种信息检索任务，包括事实核查、问答、生物医学信息检索、新闻检索、论点检索、重复问题检索、引用预测、推文检索和实体检索。所有数据集均为英文，并已预处理，可用于实验。数据集的结构包括corpus、queries和qrels三个部分，分别以jsonl和tsv格式存储。

BEIR is a heterogeneous benchmark composed of 18 distinct datasets, covering 9 information retrieval tasks including fact checking, question answering (QA), biomedical information retrieval, news retrieval, argument retrieval, duplicate question retrieval, citation prediction, tweet retrieval, and entity retrieval. All datasets are in English and have been preprocessed for experimental use. The datasets are structured into three core components: corpus, queries, and qrels, which are stored in jsonl and tsv formats respectively.

原始信息汇总

数据集概述

名称: BEIR Benchmark

描述: BEIR是一个异构基准，由18个多样化的数据集组成，涵盖9种信息检索任务。这些数据集包括事实核查、问答、生物医学信息检索、新闻检索等多个领域。

语言: 英语 (en)

许可: CC-BY-SA-4.0

多语言性: 单语

数据集结构

数据集大小:

• MSMARCO: 1M<n<10M
• TREC-COVID: 100k<n<1M
• NFCorpus: 1K<n<10K
• NQ: 1M<n<10M
• HotpotQA: 1M<n<10M
• FiQA: 10K<n<100K
• ArguAna: 1K<n<10K
• Touche-2020: 100K<n<1M
• CQADupstack: 100K<n<1M
• Quora: 100K<n<1M
• DBpedia: 1M<n<10M
• SciDocs: 10K<n<100K
• FEVER: 1M<n<10M
• Climate-FEVER: 1M<n<10M
• SciFact: 1K<n<10K

任务类别:

• 文本检索
• 零样本检索
• 信息检索
• 零样本信息检索

任务ID:

• 段落检索
• 实体链接检索
• 事实核查检索
• 推文检索
• 引用预测检索
• 重复问题检索
• 论证检索
• 新闻检索
• 生物医学信息检索
• 问答检索

数据集创建

源数据:

• 数据集未提供源数据的具体信息。

注释:

• 数据集未提供注释过程和注释者的具体信息。

个人和敏感信息:

• 数据集未提供关于个人和敏感信息的处理细节。

使用数据集的考虑

社会影响:

• 数据集未提供关于其社会影响的讨论。

偏见讨论:

• 数据集未提供关于潜在偏见的讨论。

其他已知限制:

• 数据集未提供其他已知限制的信息。

附加信息

数据集管理员:

• 数据集未提供数据集管理员的具体信息。

许可信息:

• 数据集的许可为CC-BY-SA-4.0。

引用信息:

@inproceedings{ thakur2021beir, title={{BEIR}: A Heterogeneous Benchmark for Zero-shot Evaluation of Information Retrieval Models}, author={Nandan Thakur and Nils Reimers and Andreas R{"u}ckl{e} and Abhishek Srivastava and Iryna Gurevych}, booktitle={Thirty-fifth Conference on Neural Information Processing Systems Datasets and Benchmarks Track (Round 2)}, year={2021}, url={https://openreview.net/forum?id=wCu6T5xFjeJ} }

贡献:

• 感谢@Nthakur20添加此数据集。

搜集汇总

数据集介绍

构建方式

在金融信息检索领域，FiQA数据集作为BEIR基准测试的重要组成部分，其构建过程体现了严谨的学术规范。该数据集源自FiQA-2018任务，专门针对金融领域的问答需求而设计。研究人员从专业的金融社区和新闻源中系统性地收集了57,638篇文档作为语料库，这些文档涵盖了广泛的金融主题。同时，基于真实的用户咨询场景，精心构建了6,648条查询语句。每条查询都与语料库中的相关文档通过人工标注建立了精准的对应关系，从而形成了一个可用于监督学习或零样本评估的高质量检索对集合。整个构建流程确保了数据在金融领域的专业性和实用性。

使用方法

使用FiQA数据集进行信息检索研究，通常遵循标准的评估流程。研究者可通过Hugging Face的`datasets`库直接加载`BeIR/fiqa`配置，分别获取`corpus`和`queries`两个部分。语料库中的每个文档均包含`_id`、`title`和`text`字段，查询也具有相同结构。在进行模型评估时，需要计算每个查询与所有文档的相关性得分，并根据预定义的关联标注（qrels）计算如NDCG@10、MAP、Recall@k等标准信息检索指标。该数据集常用于零样本设置，即直接使用在通用语料上预训练的检索模型（如双编码器或交叉编码器）进行评估，以衡量其向金融领域的迁移能力。同时，它也支持用于有监督的微调，以提升模型在金融垂直领域的性能。

背景与挑战

背景概述

在信息检索领域，零样本评估模型的泛化能力一直是核心研究议题。BEIR基准由Nandan Thakur等研究人员于2021年提出，旨在构建一个异构且多样化的评测框架，以全面衡量检索模型在未见任务上的表现。该基准整合了18个数据集，涵盖事实核查、问答、生物医学检索等九大任务，其中FiQA作为金融问答子集，专注于从专业文献中检索与金融查询相关的文章。这一开创性工作推动了跨领域检索模型的发展，为学术界和工业界提供了标准化的评估工具。

当前挑战

FiQA数据集面临的挑战主要体现在两个方面：在领域问题层面，金融文本通常包含专业术语、动态市场数据和复杂语义关系，这要求检索模型具备深度的领域理解能力，以准确匹配查询与文档。在构建过程中，数据收集需处理非结构化金融内容，如新闻、报告和论坛讨论，确保高质量标注与领域覆盖的平衡成为关键难点。此外，作为BEIR基准的一部分，FiQA还需与其他异构数据集保持格式统一，以支持零样本评估，这增加了数据标准化与整合的复杂性。

常用场景

经典使用场景

在金融信息检索领域，BeIR/fiqa数据集作为BEIR基准的重要组成部分，其经典使用场景聚焦于评估模型在零样本设置下的金融问答检索性能。该数据集通过提供丰富的金融文章语料库与对应的查询问题，使研究者能够系统测试检索模型在未见过的金融主题上的泛化能力，从而推动跨领域信息检索技术的发展。

解决学术问题

该数据集有效解决了金融领域信息检索中存在的专业术语理解、上下文关联性分析等学术挑战。通过构建高质量的金融文档与查询对，它为评估检索模型的语义匹配精度提供了可靠基准，促进了零样本学习、跨任务迁移等前沿研究方向的发展，对提升信息检索系统的适应性和鲁棒性具有深远意义。

实际应用

在实际应用中，BeIR/fiqa数据集可服务于智能金融咨询系统、自动化投资分析平台等场景。通过高效检索与用户查询相关的金融文章，该系统能够辅助投资者快速获取市场洞察、风险评估或政策解读，提升金融决策的时效性与准确性，展现了信息检索技术在复杂专业领域中的实用价值。

数据集最近研究

最新研究方向

在金融信息检索领域，FiQA数据集作为BEIR基准的重要组成部分，正推动着零样本检索模型的前沿探索。随着大语言模型在金融科技中的广泛应用，该数据集被用于评估模型对专业金融文本的理解与匹配能力，尤其在处理复杂查询和长文档检索方面展现出关键价值。当前研究热点聚焦于结合领域自适应技术和多模态信息融合，以提升模型在动态金融市场中的鲁棒性和准确性，为智能投顾、风险预警等实际应用提供可靠的技术支撑。