avsolatorio/mteb-banking77-avs_triplets

MTEB Banking77 Triplets数据集用于论文《GISTEmbed: Guided In-sample Selection of Training Negatives for Text Embedding Fine-tuning》中，用于文本嵌入微调的负样本选择。数据集包含文本、标签、标签文本、索引、查询索引、正样本索引和负样本索引等特征。训练集包含10003个样本，总大小为1286431字节。

原始信息汇总

MTEB Banking77 Triplets Dataset

数据集信息

特征

• text: 数据类型为字符串。
• label: 数据类型为64位整数。
• label_text: 数据类型为字符串。
• idx: 数据类型为64位整数。
• query_idx: 数据类型为64位整数。
• positive_idx: 数据类型为64位整数。
• negative_idx: 数据类型为64位整数。

数据分割

• train: 包含10003个样本，占用1286431字节。

数据大小

• 下载大小: 612460字节。
• 数据集大小: 1286431字节。

配置

• default: 包含训练数据文件，路径为data/train-*。

参考文献

@article{solatorio2024gistembed, title={GISTEmbed: Guided In-sample Selection of Training Negatives for Text Embedding Fine-tuning}, author={Aivin V. Solatorio}, journal={arXiv preprint arXiv:2402.16829}, year={2024}, URL={https://arxiv.org/abs/2402.16829}, eprint={2402.16829}, archivePrefix={arXiv}, primaryClass={cs.LG} }

搜集汇总

数据集介绍

构建方式

在文本嵌入微调领域，负样本的选择对模型性能至关重要。avsolatorio/mteb-banking77-avs_triplets数据集基于GISTEmbed框架构建，通过引导式样本内负样本选择策略生成三元组。其构建过程依托于Banking77分类数据集，为每条查询文本（query）选取一个正样本（positive）和一个负样本（negative），从而形成结构化的训练样本。数据生成代码公开于GitHub仓库，确保了方法的可复现性。该数据集包含10003个训练样本，每个样本包含文本内容、标签、标签文本及索引信息，并额外存储了查询、正负样本的索引，便于后续的对比学习任务。

特点

该数据集的核心特点在于其精心设计的三元组结构，专门用于文本嵌入模型的微调。每条记录由查询、正样本和负样本组成，这种结构直接服务于对比学习范式，能够有效提升嵌入向量的判别能力。数据集来源于Banking77这一真实银行客服场景，具有高度的领域针对性。此外，数据集的规模适中，包含超过一万个样本，既保证了训练的充分性，又避免了过大的计算开销。其标准化字段设计（如idx、query_idx等）使得数据加载与处理极为便捷，适配主流的机器学习框架。

使用方法

使用该数据集时，研究者可将其直接用于文本嵌入模型的微调训练。具体而言，通过加载train分片中的三元组，利用查询、正样本与负样本构建对比损失函数（如Triplet Loss或InfoNCE），从而优化嵌入模型的表征能力。数据集以Parquet或Arrow格式存储，可通过Hugging Face Datasets库高效加载。建议在训练过程中结合GISTEmbed的引导式负采样策略，以进一步提升微调效果。该数据集适用于信息检索、语义相似度计算及聚类等下游任务，为领域内嵌入模型的研究提供了标准化的训练资源。

背景与挑战

背景概述

在自然语言处理领域，文本嵌入的细粒度微调对于提升语义理解与检索性能至关重要。avsolatorio/mteb-banking77-avs_triplets数据集由研究者Aivin V. Solatorio于2024年创建，源自其论文《GISTEmbed: Guided In-sample Selection of Training Negatives for Text Embedding Fine-tuning》，旨在解决文本嵌入微调中负样本选择的核心问题。该数据集基于Banking77语料库，通过精心设计的三元组结构（查询、正例、负例），为文本嵌入模型提供高质量的训练样本。其研究背景聚焦于如何通过引导式样本内选择策略，优化负样本的选取质量，从而提升嵌入模型在金融领域对话理解等任务中的表现。该数据集在文本嵌入社区具有重要影响力，为后续对比学习与检索增强生成研究奠定了数据基础。

当前挑战

该数据集面临的主要挑战涵盖领域问题解决与构建过程两个层面。在领域问题层面，文本嵌入微调长期受困于负样本选择不当导致的模型性能瓶颈，传统随机采样或批内负采样方法易引入噪声，削弱嵌入表示的判别力。构建过程中，研究者需克服三元组生成的质量控制难题，确保正负样本的语义区分度与任务相关性，同时平衡数据规模与标注成本。此外，数据集聚焦于银行客服场景，其领域特异性要求负样本能有效反映金融术语的细微差别，这对自动化构建流程的语义精确性提出更高要求。这些挑战共同制约着嵌入模型在垂直场景中的泛化能力与鲁棒性。

常用场景

经典使用场景

在自然语言处理领域，文本嵌入的细粒度调优是提升语义理解能力的关键挑战之一。avsolatorio/mteb-banking77-avs_triplets数据集专为文本嵌入模型的对比学习设计，其经典使用场景聚焦于通过三元组结构（查询、正例、负例）训练模型区分银行领域用户查询的细微语义差异。该数据集源自Banking77语料库，包含10,003条训练样本，每条样本均标注了标签与索引，支持引导式负例采样策略，从而优化嵌入空间中的正负样本分布。研究者常将其用于评估和微调基于Transformer的嵌入模型，例如在MTEB基准任务中测试模型对金融领域意图分类的泛化能力。

实际应用

在实际应用中，该数据集支撑了智能客服系统的语义匹配能力升级。银行机构可基于微调后的嵌入模型实现用户查询的精准路由，例如将“如何修改支付限额”与“临时提高交易额度”等近似表述映射至不同服务节点。此外，该数据集还可用于构建金融知识库的相似案例检索系统，辅助风控人员快速定位历史异常交易模式。其产业价值在于降低客服人工介入率，同时通过嵌入向量的可解释性提升合规审计的透明度。

衍生相关工作

该数据集衍生了多项推动文本嵌入技术发展的经典工作。核心衍生工作为GISTEmbed框架（Solatorio, 2024），其提出的引导式负例选择算法显著提升了嵌入模型的判别力。后续研究在此基础上扩展了跨领域适应方法，例如将银行领域的三元组训练策略迁移至医疗或法律文本。此外，该数据集被整合进MTEB（Massive Text Embedding Benchmark）评估体系，成为检验嵌入模型在金融场景鲁棒性的标准测试集，间接催生了如SimCSE与E5等模型的金融领域适配变体。