IR-Cocktail/nq-utd

Cocktail数据集包含16个基准数据集，涵盖多个领域如生物医学、维基百科、金融等。每个数据集包含人类编写的语料库和LLM生成的语料库，以及查询和相关性文件。数据集的格式包括`.jsonl`文件用于存储语料库和查询，`.tsv`文件用于存储相关性信息。数据集的设计旨在全面评估信息检索系统，并集成了LLM生成的内容。

原始信息汇总

数据集概述

数据集列表

数据集	原始网站	Cocktail网站	Cocktail名称	处理后数据的md5值	领域	相关性类型	测试查询数量	语料库大小
MS MARCO	https://microsoft.github.io/msmarco/	https://huggingface.co/datasets/IR-Cocktail/msmarco	msmarco	985926f3e906fadf0dc6249f23ed850f	Misc.	Binary	6,979	542,203
DL19	https://microsoft.github.io/msmarco/TREC-Deep-Learning-2019	https://huggingface.co/datasets/IR-Cocktail/dl19	dl19	d652af47ec0e844af43109c0acf50b74	Misc.	Binary	43	542,203
DL20	https://microsoft.github.io/msmarco/TREC-Deep-Learning-2020	https://huggingface.co/datasets/IR-Cocktail/dl20	dl20	3afc48141dce3405ede2b6b937c65036	Misc.	Binary	54	542,203
TREC-COVID	https://ir.nist.gov/covidSubmit/index.html	https://huggingface.co/datasets/IR-Cocktail/trec-covid	trec-covid	1e1e2264b623d9cb7cb50df8141bd535	Bio-Medical	3-level	50	128,585
NFCorpus	https://www.cl.uni-heidelberg.de/statnlpgroup/nfcorpus/	https://huggingface.co/datasets/IR-Cocktail/nfcorpus	nfcorpus	695327760647984c5014d64b2fee8de0	Bio-Medical	3-level	323	3,633
NQ	https://ai.google.com/research/NaturalQuestions	https://huggingface.co/datasets/IR-Cocktail/nq	nq	a10bfe33efdec54aafcc974ac989c338	Wikipedia	Binary	3,446	104,194
HotpotQA	https://hotpotqa.github.io/	https://huggingface.co/datasets/IR-Cocktail/hotpotqa	hotpotqa	74467760fff8bf8fbdadd5094bf9dd7b	Wikipedia	Binary	7,405	111,107
FiQA-2018	https://sites.google.com/view/fiqa/	https://huggingface.co/datasets/IR-Cocktail/fiqa	fiqa	4e1e688539b0622630fb6e65d39d26fa	Finance	Binary	648	57,450
Touché-2020	https://webis.de/events/touche-20/shared-task-1.html	https://huggingface.co/datasets/IR-Cocktail/webis-touche2020	webis-touche2020	d58ec465ccd567d8f75edb419b0faaed	Misc.	3-level	49	101,922
CQADupStack	http://nlp.cis.unimelb.edu.au/resources/cqadupstack/	https://huggingface.co/datasets/IR-Cocktail/dcqadupstackl19	cqadupstack	d48d963bc72689c765f381f04fc26f8b	StackEx.	Binary	1,563	39,962
DBPedia	https://github.com/iai-group/DBpedia-Entity/	https://huggingface.co/datasets/IR-Cocktail/dbpedia-entity	dbpedia-entity	43292f4f1a1927e2e323a4a7fa165fc1	Wikipedia	3-level	400	145,037
SCIDOCS	https://allenai.org/data/scidocs	https://huggingface.co/datasets/IR-Cocktail/scidocs	scidocs	4058c0915594ab34e9b2b67f885c595f	Scientific	Binary	1,000	25,259
FEVER	http://fever.ai/	https://huggingface.co/datasets/IR-Cocktail/fever	fever	98b631887d8c38772463e9633c477c69	Wikipedia	Binary	6,666	114,529
Climate-FEVER	http://climatefever.ai/	https://huggingface.co/datasets/IR-Cocktail/climate-fever	climate-fever	5734d6ac34f24f5da496b27e04ff991a	Wikipedia	Binary	1,535	101,339
SciFact	https://github.com/allenai/scifact	https://huggingface.co/datasets/IR-Cocktail/scifact	scifact	b5b8e24ccad98c9ca959061af14bf833	Scientific	Binary	300	5,183
NQ-UTD	https://anonymous.4open.science/r/Cocktail-BA4B/	https://huggingface.co/datasets/IR-Cocktail/nq-utd	nq-utd	2e12e66393829cd4be715718f99d2436	Misc.	3-level	80	800

数据集结构

shell . ├── corpus # 文档 │ ├── human.jsonl # 人类编写的语料库 │ └── llama-2-7b-chat-tmp0.2.jsonl # LLM生成的语料库 ├── qrels │ └── test.tsv # 查询的相关性 └── queries.jsonl # 查询

所有Cocktail数据集必须包含人类编写的语料库、LLM生成的语料库、查询和相关性。格式如下：

• corpus: .jsonl文件，包含一系列字典，每个字典包含三个字段：_id（唯一文档标识符）、title（文档标题，可选）和text（文档段落或段落）。
• queries文件：.jsonl文件，包含一系列字典，每个字典包含两个字段：_id（唯一查询标识符）和text（查询文本）。
• qrels文件：.tsv文件，包含三个列，即query-id、corpus-id和score。保持第一行为标题。

搜集汇总

数据集介绍

构建方式

在信息检索领域，评估检索器对生成式内容与人工撰写内容的混合语料处理能力至关重要。IR-Cocktail/nq-utd数据集源自Cocktail基准评测，其构建方式独具匠心：首先基于NQ（Natural Questions）数据集精选80条查询，并分别构建人工撰写语料库与由Llama-2-7b-chat模型生成的语料库，每个语料库包含800篇文档。数据集以标准化格式存储，包含corpus目录下的两个JSONL文件（human.jsonl与llama-2-7b-chat-tmp0.2.jsonl）、queries.jsonl查询文件以及qrels/test.tsv相关性标注文件，每篇文档均配备唯一标识符与文本内容。

使用方法

使用该数据集时，研究者可直接通过HuggingFace平台加载，其标准化结构支持便捷的编程访问。典型流程包括：从corpus目录读取human.jsonl和llama-2-7b-chat-tmp0.2.jsonl构建混合语料库，加载queries.jsonl获取查询集合，再依据qrels/test.tsv中的相关性分数进行检索效果评估。数据集支持多种检索范式，可分别评估检索器在纯人工语料、纯生成语料及混合语料上的表现，从而量化分析LLM生成内容对检索系统的影响。建议配合Cocktail基准中的其他数据集进行多维度对比实验。

背景与挑战

背景概述

在信息检索领域，大型语言模型（LLM）生成内容的日益普及对传统检索系统提出了全新挑战。IR-Cocktail/nq-utd数据集由Dai等研究团队于2024年创建，隶属于Cocktail基准测试套件，旨在系统评估检索模型在混合人类撰写与LLM生成文档场景下的表现。该数据集基于Google Natural Questions（NQ）构建，包含80个测试查询、800篇文档（其中400篇为人类撰写，400篇由Llama-2-7b-chat生成），并采用三级相关性标注。其核心研究问题聚焦于揭示神经检索器对LLM生成内容的潜在偏好，这一发现发表于ACL 2024 Findings与KDD 2024，为理解生成式AI对检索系统的影响提供了关键实验平台。

当前挑战

数据集面临的主要挑战包括：其一，领域问题层面，传统检索模型在区分人类与LLM生成内容时表现出系统性偏差，即倾向于高估机器生成文档的相关性，这威胁到检索公平性与可靠性；其二，构建过程中，需精确控制LLM生成文本的质量与多样性，避免引入人工痕迹或语义失真，同时确保查询与文档间的相关性标注具有跨标注者一致性。此外，如何平衡人类与生成文档的规模比例以模拟真实混合场景，以及如何设计评估指标有效量化偏差程度，均为技术难点。这些挑战共同制约着检索系统在生成式AI时代的鲁棒性提升。

常用场景

经典使用场景

NQ-UTD数据集是Cocktail基准测试中精心设计的一个子集，旨在探究信息检索系统在处理大语言模型生成文档时的鲁棒性。该数据集以Natural Questions为蓝本，构建了包含人类撰写文本与LLM（如Llama-2-7b-chat）生成文本的混合语料库，并引入了三级相关性标注。其经典使用场景聚焦于评估和对比检索器在真实用户查询下，对两类来源文档的排序表现，从而揭示检索模型可能存在的对生成式内容的偏好偏差。

解决学术问题

该数据集直面当前信息检索领域一个关键且紧迫的学术问题：随着LLM生成内容在互联网上激增，传统神经检索器是否会产生系统性偏见，即倾向于优先返回语言风格流畅但可能事实性不足的机器生成文本。NQ-UTD通过提供可控的混合语料与精细的标注，使得研究者能够量化这种偏差，并分析其根源，为设计更公平、更鲁棒的检索算法提供了关键的实验平台和诊断工具。

实际应用

在实际应用中，NQ-UTD数据集直接服务于搜索引擎、问答系统和知识库构建等场景的优化。例如，当用户查询涉及最新事件或小众知识时，检索系统可能面临大量由LLM即时生成的摘要或答案。借助该数据集，工程师可以测试其系统能否在信息质量参差不齐的混合文档中，准确甄别并优先呈现可靠的人类来源内容，从而提升用户体验，避免错误信息的传播。

数据集最近研究

最新研究方向

在信息检索领域，随着大语言模型生成内容的激增，传统检索系统面临前所未有的挑战。IR-Cocktail/nq-utd数据集作为Cocktail基准的重要组成部分，聚焦于评估检索器对LLM生成文本与人类撰写文本的区分能力。当前前沿研究围绕“检索器对生成内容的偏差”这一热点展开，该数据集通过提供人工语料与LLM生成语料的成对设计，为量化这种系统性偏差提供了关键实验平台。其80条查询和800条文档的精细标注结构，使得研究者能够深入分析检索模型在多粒度相关性判断中的表现差异。这一方向直接关联到AI生成内容泛滥背景下的信息可信度问题，对于构建更鲁棒、更公平的下一代检索系统具有里程碑式的意义，也为理解LLM对信息生态的深层影响提供了实证基础。