bzantium/LITM

该数据集用于论文《Lost in the Middle: How Language Models Use Long Contexts》中的研究，主要关注多文档问答和键值对检索任务。数据集包括两种类型：键值对检索数据集（kv75、kv140、kv300）和多文档问答数据集（qa10、qa20、qa30）。每个数据集对应不同的配置和文件路径，规模均小于1K。

原始信息汇总

数据集概述

数据集列表

键值检索数据集

• kv75: 包含75个键值对。
• kv140: 包含140个键值对。
• kv300: 包含300个键值对。

多文档问答数据集

• qa10: 包含从10个文档中提取的问答对。
• qa20: 包含从20个文档中提取的问答对。
• qa30: 包含从30个文档中提取的问答对。

数据加载示例

使用Hugging Face的datasets库加载数据集的示例代码如下：

python from datasets import load_dataset

加载kv75数据集的示例

dataset = load_dataset("bzantium/LITM", "kv75")

加载qa20数据集的示例

dataset = load_dataset("bzantium/LITM", "qa20")

搜集汇总

背景与挑战

背景概述

LITM数据集专注于研究语言模型在长上下文中的表现，包含键值检索和多文档问答两类任务，共有6个子集，总规模为3,100行。该数据集基于论文《Lost in the Middle: How Language Models Use Long Contexts》构建，用于评估模型在处理大量信息时的能力。