yutaozhu94/INTERS

INTERS是一个用于增强大型语言模型（LLMs）在信息检索（IR）任务中表现的指令调优数据集。它包含20个任务，涵盖三个基本的IR类别：查询理解、文档理解和查询-文档关系理解。数据来源于43个不同的数据集，并使用了手动编写的模板。实验结果表明，INTERS显著提升了多种公开可用的LLMs在IR任务中的表现。

license: CC BY-SA 4.0
task_categories:
- 文本生成
language:
- 英语
size_categories:
- 10万 < n < 100万

## INTERS：通过指令微调解锁大语言模型在搜索领域的应用潜力
**作者**：朱宇涛、张培天、张承浩、陈一飞、谢斌宇、窦志成、刘正、文继荣

<p>
📃 <a href="https://arxiv.org/abs/2401.06532">ArXiv论文</a>
•
💡 <a href="https://github.com/DaoD/INTERS">GitHub仓库</a>
</p>

## 引言
大语言模型（Large Language Models，LLMs）已在各类自然语言处理任务中展现出卓越性能。尽管如此，由于诸多信息检索（Information Retrieval，IR）专属概念在自然语言中出现频率极低，将大语言模型应用于信息检索任务仍面临诸多挑战。基于提示的方法虽可为大语言模型提供任务描述，但往往难以助力其全面理解并执行信息检索任务，进而限制了大语言模型的应用范围。为填补这一研究空白，本研究探索了通过指令微调提升大语言模型在信息检索任务中表现的潜力。我们提出了一款全新的指令微调数据集INTERS，该数据集涵盖三大核心信息检索类别下的20项任务：查询理解、文档理解以及查询-文档关系理解。数据集源自43个独立数据集，并采用人工编写的模板生成。实验结果表明，INTERS可显著提升LLaMA、Mistral、Phi等多款公开大语言模型在信息检索任务中的性能。此外，我们还开展了大量实验，分析了指令设计、模板多样性、少样本演示以及指令数量对模型性能的影响。

## 文件列表
- train.jsonl：用于域内评估场景的训练集。
- dev-qu-du-zero-shot/*：零样本评估场景下查询理解任务与文档理解任务的开发集。
- test-qu-du-zero-shot/*：零样本评估场景下查询理解任务与文档理解任务的测试集。
- test-qdu/*：查询-文档关系理解任务的测试集。

## 文件格式
### 查询理解任务与文档理解任务格式
文件的每一行均为符合以下结构的JSON字典：

{
"prompt": 模型输入文本,
"completion": 模型输出文本,
"source": 数据来源,
}

### 查询-文档关系理解任务格式
请注意：候选文档通过BM25算法检索得到，因此正例文档可能不在候选文档列表中。

{
"query": 查询文本,
"pos": 正例文档内容,
"pos_index": 正例文档的索引,
"pos_score": [未使用字段],
"query_id": 查询ID,
"key": 所有候选文档的内容,
"key_index": 所有候选文档的索引,
}

原始信息汇总

数据集概述

基本信息

• 许可证: cc-by-sa-4.0
• 任务类别: 文本生成
• 语言: 英语
• 数据集大小: 100K<n<1M

数据集描述

• 名称: INTERS
• 目的: 通过指令调优提升大型语言模型在信息检索任务中的表现
• 包含任务: 20个任务，分为查询理解、文档理解和查询-文档关系理解三个基本类别
• 数据来源: 43个不同数据集，包含手动编写的模板
• 实证结果: 显著提升LLaMA、Mistral、Phi等公开可用LLMs在信息检索任务中的性能

文件列表

• train.jsonl: 用于域内评估场景的训练集
• dev-qu-du-zero-shot/*: 用于零样本评估场景的查询理解和文档理解任务的开发集
• test-qu-du-zero-shot/*: 用于零样本评估场景的查询理解和文档理解任务的测试集
• test-qdu/*: 查询-文档关系理解任务的测试集

文件格式

• 查询理解和文档理解任务: json { "prompt": 输入LLMs的内容, "completion": LLMs的输出, "source": 数据来源, }

• 查询-文档关系理解任务: json { "query": 查询内容, "pos": 正文档内容, "pos_index": 正文档索引, "pos_score": [未使用], "query_id": 查询ID, "key": 所有候选文档内容, "key_index": 所有候选文档索引, }