IR-Cocktail/fiqa

Cocktail数据集包含16个基准数据集，涵盖了多个领域，如生物医学、维基百科、金融、科学等。每个数据集都包含人类编写的语料库、LLM生成的语料库、查询和相关性文件。数据集的结构包括语料库目录（包含人类编写的语料库和LLM生成的语料库）、查询文件（包含查询的JSONL文件）和相关性文件（包含查询与语料库相关性的TSV文件）。所有文件都遵循特定的格式要求。

原始信息汇总

数据集概述

Cocktail数据集包含16个基准数据集，具体信息如下表所示：

数据集	原始网站	Cocktail网站	Cocktail名称	处理后数据的md5值	领域	相关性类型	测试查询数量	语料库数量
MS MARCO	Homepage	Homepage	msmarco	985926f3e906fadf0dc6249f23ed850f	杂项	二元	6,979	542,203
DL19	Homepage	Homepage	dl19	d652af47ec0e844af43109c0acf50b74	杂项	二元	43	542,203
DL20	Homepage	Homepage	dl20	3afc48141dce3405ede2b6b937c65036	杂项	二元	54	542,203
TREC-COVID	Homepage	Homepage	trec-covid	1e1e2264b623d9cb7cb50df8141bd535	生物医学	三层级	50	128,585
NFCorpus	Homepage	Homepage	nfcorpus	695327760647984c5014d64b2fee8de0	生物医学	三层级	323	3,633
NQ	Homepage	Homepage	nq	a10bfe33efdec54aafcc974ac989c338	维基百科	二元	3,446	104,194
HotpotQA	Homepage	Homepage	hotpotqa	74467760fff8bf8fbdadd5094bf9dd7b	维基百科	二元	7,405	111,107
FiQA-2018	Homepage	Homepage	fiqa	4e1e688539b0622630fb6e65d39d26fa	金融	二元	648	57,450
Touché-2020	Homepage	Homepage	webis-touche2020	d58ec465ccd567d8f75edb419b0faaed	杂项	三层级	49	101,922
CQADupStack	Homepage	Homepage	cqadupstack	d48d963bc72689c765f381f04fc26f8b	堆栈交换	二元	1,563	39,962
DBPedia	Homepage	Homepage	dbpedia-entity	43292f4f1a1927e2e323a4a7fa165fc1	维基百科	三层级	400	145,037
SCIDOCS	Homepage	Homepage	scidocs	4058c0915594ab34e9b2b67f885c595f	科学	二元	1,000	25,259
FEVER	Homepage	Homepage	fever	98b631887d8c38772463e9633c477c69	维基百科	二元	6,666	114,529
Climate-FEVER	Homepage	Homepage	climate-fever	5734d6ac34f24f5da496b27e04ff991a	维基百科	二元	1,535	101,339
SciFact	Homepage	Homepage	scifact	b5b8e24ccad98c9ca959061af14bf833	科学	二元	300	5,183
NQ-UTD	Homepage	Homepage	nq-utd	2e12e66393829cd4be715718f99d2436	杂项	三层级	80	800

数据集结构

Cocktail数据集的结构如下：

shell . ├── corpus # 文档 │ ├── human.jsonl # 人工编写的语料库 │ └── llama-2-7b-chat-tmp0.2.jsonl # LLM生成的语料库 ├── qrels │ └── test.tsv # 查询的相关性 └── queries.jsonl # 查询

所有Cocktail数据集必须包含人工编写的语料库、LLM生成的语料库、查询和相关性文件。它们必须采用以下格式：

• corpus：一个.jsonl文件（jsonlines），包含一系列字典，每个字典包含三个字段：_id（唯一文档标识符）、title（文档标题，可选）和text（文档段落或段落）。例如：{"_id": "doc1", "title": "title", "text": "text"}
• queries文件：一个.jsonl文件（jsonlines），包含一系列字典，每个字典包含两个字段：_id（唯一查询标识符）和text（查询文本）。例如：{"_id": "q1", "text": "q1_text"}
• qrels文件：一个.tsv文件（制表符分隔），包含三列，即query-id、corpus-id和score。第一行作为标题。例如：q1 doc1 1

引用

@article{cocktail, title={Cocktail: A Comprehensive Information Retrieval Benchmark with LLM-Generated Documents Integration}, author={Dai, Sunhao and Liu, Weihao and Zhou, Yuqi and Pang, Liang and Ruan, Rongju and Wang, Gang and Dong, Zhenhua and Xu, Jun and Wen, Ji-Rong}, journal={Findings of the Association for Computational Linguistics: ACL 2024}, year={2024} }

@article{dai2024neural, title={Neural Retrievers are Biased Towards LLM-Generated Content}, author={Dai, Sunhao and Zhou, Yuqi and Pang, Liang and Liu, Weihao and Hu, Xiaolin and Liu, Yong and Zhang, Xiao and Wang, Gang and Xu, Jun}, journal={Proceedings of the 30th ACM SIGKDD Conference on Knowledge Discovery and Data Mining}, year={2024} }

搜集汇总

数据集介绍

构建方式

IR-Cocktail/fiqa 数据集是 Cocktail 综合信息检索基准测试的一部分，专门针对金融领域的信息检索任务而构建。该数据集基于 FiQA-2018 挑战赛的原始数据，经过精心处理与标准化，形成了统一的格式。其构建过程遵循 Cocktail 框架的规范，确保每个数据集均包含人工撰写的语料库（human.jsonl）与由大语言模型生成的语料库（llama-2-7b-chat-tmp0.2.jsonl），以及对应的查询文件（queries.jsonl）和相关性判断文件（qrels/test.tsv）。语料库中的每篇文档以 JSON 行格式存储，包含唯一标识符、标题（可选）和正文文本。查询文件同样采用 JSON 行格式，每行包含查询标识符与查询文本。相关性判断文件为制表符分隔的 TSV 文件，记录查询与文档之间的相关性得分。这种结构化的构建方式为后续的检索实验提供了标准化的数据基础。

特点

IR-Cocktail/fiqa 数据集的核心特点在于其独特的双语料库设计，即同时包含人类撰写的真实文档与 LLM 生成的合成文档，这使其成为研究检索系统对生成内容偏好的理想资源。该数据集聚焦于金融领域，涵盖 648 条测试查询与 57,450 篇文档，其中文档规模适中，便于进行高效的检索实验。此外，数据集采用二值相关性标注（Binary），简化了评估流程。作为 Cocktail 基准的重要组成部分，fiqa 数据集与其他 15 个跨领域数据集一起，覆盖了从百科、科学到生物医学等多个领域，为评估检索模型在多样化场景下的泛化能力提供了丰富素材。其统一的文件格式与经过校验的 MD5 哈希值也确保了数据的完整性与可复现性。

使用方法

使用 IR-Cocktail/fiqa 数据集时，用户可直接从 Hugging Face 平台加载，无需额外预处理。数据集的目录结构清晰，包含 corpus、qrels 和 queries 三个子目录。用户可通过读取 corpus 目录下的 human.jsonl 和 llama-2-7b-chat-tmp0.2.jsonl 文件获取文档，利用 queries.jsonl 获取查询，并使用 test.tsv 中的相关性判断进行效果评估。该数据集支持多种信息检索框架，如 Pyserini 或 BEIR，用户可将其作为标准输入格式直接调用。在实验中，建议分别使用人工语料和生成语料进行检索，以对比分析检索模型对不同来源文档的偏好。数据集的引用格式已在官方说明中提供，便于学术研究中的规范引用。

背景与挑战

背景概述

在信息检索领域，金融文本的语义复杂性与领域专有性对检索系统提出了严峻考验。FiQA-2018数据集诞生于2018年，由金融问题回答（Financial Question Answering）共享任务衍生而来，其核心研究问题聚焦于金融领域中的文本检索与问答。该数据集由学术界与工业界联合构建，旨在评估模型在金融场景下的信息匹配能力。作为Cocktail基准测试的一部分，FiQA涵盖648条测试查询与57,450篇文档，覆盖金融新闻、报告等多样化内容，为衡量检索系统在专业领域中的表现提供了关键标尺。其对金融信息检索研究的推动，尤其在语义匹配与领域适应性方面，产生了深远影响。

当前挑战

FiQA数据集所解决的领域挑战在于金融文本检索的精准性，包括处理专业术语、数字敏感信息及模糊语义关联。构建过程中，挑战集中于标注一致性的维护：金融领域专家需对查询与文档的相关性进行二元判断，但金融文本的多义性与上下文依赖性易导致标注偏差。此外，语料库规模相对有限（57,450篇文档），难以覆盖金融领域的全部子主题，可能限制模型泛化能力。同时，与LLM生成内容的整合（如Cocktail框架所示）引入了新的难题，即如何区分原始金融文档与合成文本的检索偏好，避免模型对生成内容产生系统性偏倚。

常用场景

经典使用场景

在金融领域的信息检索研究中，FiQA-2018数据集作为Cocktail基准测试套件的重要组成部分，专门用于评估检索系统在财务问答场景下的表现。该数据集包含648条测试查询和57,450篇金融领域文档，其二元相关性标注机制为模型训练与评测提供了清晰的标准。研究者常利用该数据集探索金融文本中的语义匹配与相关性判断，尤其是在处理专业术语密集、语境复杂的金融信息时，FiQA-2018成为检验检索模型鲁棒性与精确性的经典平台。

衍生相关工作

基于FiQA-2018数据集及其Cocktail框架，学术界衍生了一系列重要研究工作。其中，Dai等人（2024）在ACL Findings上发表的Cocktail论文系统构建了包含16个数据集的综合检索基准，揭示了LLM生成文档对检索系统性能的深刻影响。同期在KDD 2024上发表的《Neural Retrievers are Biased Towards LLM-Generated Content》则进一步聚焦于检索模型的偏见问题，这些工作共同推动了检索领域对生成内容适应性的研究热潮，启发了后续关于去偏训练、多源融合检索等方向的探索。

数据集最近研究

最新研究方向

在信息检索领域，随着大语言模型生成内容的激增，如何评估检索系统在混合语料（人类撰写与LLM生成文档并存）中的表现成为前沿热点。IR-Cocktail/fiqa数据集作为Cocktail基准的一部分，聚焦金融领域，提供了648条测试查询与57,450篇文档，其中包含LLM生成的合成语料，为研究检索器对生成内容的潜在偏好提供了关键测试床。最新研究揭示，神经检索器在LLM生成文档上存在系统性偏差，可能影响检索结果的公平性与鲁棒性。该数据集的发布推动了对抗性检索、偏差校正及跨域泛化等方向的发展，尤其在金融信息检索场景中，其对于构建更可信、更适应AI生成内容的下一代检索系统具有里程碑意义。