intfloat/personalized_passkey_retrieval

该数据集包含了个性化密码检索任务的数据，这些数据来源于论文《Improving Text Embeddings with Large Language Models》。数据集中的每个查询都有100个候选答案，标签字段指示了正确候选答案的索引，始终为0。上下文长度字段提供了候选文档的近似长度。

原始信息汇总

数据集概述

该数据集包含用于个性化密钥检索任务的数据，源自论文《Improving Text Embeddings with Large Language Models》。

数据字段

• query: 一个字符串特征。
• candidates: 字符串特征列表，每个查询有100个候选。
• label: 一个32位整数特征，表示正确候选在候选列表中的索引，始终为0。
• context_length: 一个32位整数特征，表示候选文档的大致长度。

如何使用此数据集

您可以在Python代码中加载此数据集，如下所示：

python from datasets import load_dataset

dataset = load_dataset("intfloat/personalized_passkey_retrieval")

数据集中的数据由脚本generate_passkey_data.py生成。您也可以调整脚本以生成自己的数据。

引用信息

如果您在研究中使用此数据集，请引用以下论文：

@inproceedings{Wang2023ImprovingTE, title={Improving Text Embeddings with Large Language Models}, author={Liang Wang and Nan Yang and Xiaolong Huang and Linjun Yang and Rangan Majumder and Furu Wei}, year={2023}, }

搜集汇总

数据集介绍

构建方式

该数据集源自论文《Improving Text Embeddings with Large Language Models》，专为个性化密钥检索任务设计。构建过程依托于官方提供的脚本generate_passkey_data.py，通过自动化流程生成查询与候选文档对。每个查询配备100个候选文档，其中正确候选索引固定为0，确保标签一致性。数据集的上下文长度字段记录了候选文档的近似长度，便于控制实验变量。研究者可根据需求调整脚本参数，生成定制化数据，体现了构建的灵活性与可扩展性。

特点

数据集以个性化密钥检索为核心，聚焦于文本嵌入模型的细粒度评估。其独特之处在于查询与候选文档的关联性设计，通过固定标签索引简化了评估标准。上下文长度字段的引入使得模型可针对不同文本长度进行性能测试，增强了数据集的实用性。此外，数据规模小于1000条，兼顾了实验效率与代表性，适合作为基准测试或模型调优的标准化资源。

使用方法

用户可通过HuggingFace的datasets库便捷加载该数据集，采用load_dataset('intfloat/personalized_passkey_retrieval')即可获取完整数据。数据字段包括查询字符串、候选文档列表、标签索引及上下文长度，支持直接用于文本嵌入模型的训练与评估。推荐结合官方脚本生成自定义数据，以适应特定研究场景。使用时需引用原始论文，确保学术合规性。

背景与挑战

背景概述

在自然语言处理领域，文本嵌入技术是支撑语义理解与信息检索的核心基石。近年来，大型语言模型（LLMs）的崛起为文本表示学习带来了新的范式，然而如何利用LLMs生成更具区分性与上下文感知能力的嵌入向量，仍是亟待探索的前沿课题。在此背景下，由Microsoft研究院的Liang Wang、Nan Yang等研究人员于2023年提出的intfloat/personalized_passkey_retrieval数据集，旨在解决个性化密钥检索这一细粒度任务。该数据集通过模拟用户特定上下文中的密钥定位需求，为评估文本嵌入模型在长文本与个性化场景下的表现提供了标准化基准。其核心研究问题聚焦于：在包含干扰信息的长序列中，模型能否精准定位与用户偏好相关的目标片段。该数据集的出现，推动了LLM驱动文本嵌入技术向更精细、更贴近实际应用的方向演进，对后续研究产生了重要影响。

当前挑战

该数据集所面临的挑战首先体现在所解决的领域问题上：个性化密钥检索任务要求模型在长达数千token的上下文中，精准识别出与用户特定查询匹配的唯一目标，这远超出了传统短文本匹配或分类的难度。模型必须同时处理长距离依赖、噪声干扰以及个性化偏好建模，对文本嵌入的鲁棒性与语义粒度提出了严苛要求。其次，在数据集构建过程中亦遇到显著挑战：为确保测试的公平性与真实性，研究人员需要生成包含大量干扰项（每查询100个候选）且标签恒为0（即首个候选为正确答案）的合成数据，这要求精心设计生成脚本以模拟真实场景中的随机性与分布特征，同时避免模型利用位置偏差或模式漏洞。此外，如何平衡上下文长度的多样性（从短至长）并保持任务难度的一致性，也是构建过程中的技术难点。

常用场景

经典使用场景

在信息检索与文本嵌入领域，个性化密钥检索任务旨在评估模型在长上下文条件下精准定位特定信息的能力。intfloat/personalized_passkey_retrieval数据集专为此设计，每个查询配有一百个候选文档，其中仅一个包含正确的个性化密钥，且该密钥始终位于候选列表首位。研究者通过对比模型从海量无关文本中提取目标信息的表现，系统衡量嵌入模型对长程依赖关系的建模水平。该场景已成为检验大语言模型处理超长序列时语义聚焦能力的经典基准，尤其适用于评估文本嵌入模型在非结构化数据中维持个性化记忆的鲁棒性。

解决学术问题

该数据集核心解决了文本嵌入模型在长上下文场景下对个性化信息检索能力的量化评估难题。传统检索基准多聚焦于短文本匹配，难以反映模型在噪声干扰中保持目标信息敏感度的真实水平。通过引入可控的上下文长度变量，该数据集允许研究者系统分析嵌入维度、序列长度与检索精度间的非线性关系，为揭示大语言模型在扩展上下文窗口时出现的注意力稀释现象提供了标准化测试框架。其意义在于建立了从模型架构设计到下游任务表现的可追溯评价链路，推动了面向长文档理解的嵌入优化研究。

衍生相关工作

该数据集衍生了一系列关于长上下文嵌入优化的经典工作，包括通过对比学习增强模型对位置编码敏感度的研究、基于注意力掩码策略缓解长序列信息遗忘的方法，以及利用合成数据训练提升检索精度的范式。相关论文进一步探索了将个性化密钥检索任务扩展至多语言场景，并引入动态候选集生成机制以增加评估难度。这些工作共同推动了文本嵌入领域从静态短文本匹配向动态长程语义理解的方向演进，其影响力延伸至大语言模型的长上下文能力评测标准制定，为后续如‘大海捞针’类测试任务提供了方法论基础。