mteb/banking77

Banking77Classification数据集是一个由在线银行查询及其相应意图注释组成的文本分类数据集。该数据集包含10003个训练样本和3080个测试样本，共有77个不同的意图类别。

The Banking77Classification dataset is a text classification dataset composed of online banking queries annotated with their corresponding intents. The dataset contains 10003 training samples and 3080 test samples, with a total of 77 different intent categories.

原始信息汇总

数据集语言

• 英语（en）

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，意图检测是对话系统与智能客服的核心任务。Banking77数据集聚焦于在线银行业务场景，其构建过程体现了严谨的学术规范。该数据集通过人工标注方式，从真实的在线银行用户查询中收集文本，并精细地归类为77种不同的业务意图。数据划分遵循机器学习标准范式，包含训练集与测试集，确保了模型训练与评估的独立性。原始语料经过清洗与标准化处理，最终形成了结构清晰、标注一致的分类数据集，为意图检测研究提供了高质量的基准资源。

特点

Banking77数据集在金融领域的文本分类任务中展现出鲜明的专业特性。其最显著的特点是涵盖了77个高度细粒度的银行业务意图类别，如账户查询、交易争议、费用咨询等，这远多于通用意图数据集的类别数量，对模型的判别能力提出了更高要求。数据集文本均源自真实的英文书面查询，语言风格多样，长度分布合理，平均约54至59个字符，兼具简洁询问与复杂描述。测试集中各类别样本均衡分布，各含40条实例，为公平评估模型性能提供了保障。这些特征共同使其成为衡量文本嵌入模型在垂直领域泛化能力的权威基准。

使用方法

作为大规模文本嵌入基准（MTEB）的重要组成部分，Banking77数据集主要用于评估文本嵌入模型在意图分类任务上的性能。研究者可通过MTEB框架便捷地加载该任务，使用统一的评估流程对自定义的嵌入模型进行测试。典型的使用方法涉及导入mteb库，获取Banking77Classification任务实例，并运行评估器对模型输出进行度量。该流程自动化地完成了数据加载、嵌入计算、分类评估及结果报告，确保了不同研究之间的可比性。数据集亦可用于监督学习，直接训练或微调特定的分类模型，以探索其在金融场景下的意图理解能力。

背景与挑战

背景概述

在自然语言处理领域，意图检测作为对话系统的核心组件，其性能直接影响智能客服与虚拟助手的交互质量。Banking77数据集由Iñigo Casanueva等研究人员于2020年构建，隶属于大规模文本嵌入基准（MTEB）项目，旨在为银行业务场景下的意图分类任务提供高质量标注资源。该数据集收录了超过一万三千条英文在线银行查询语句，涵盖七十七种精细意图类别，如账户查询、交易争议、密码重置等，为双语句编码器等先进模型提供了标准化评估平台，显著推动了领域自适应与少样本学习的研究进展。

当前挑战

Banking77数据集致力于解决银行业务场景中意图检测的挑战，其核心难点在于区分语义高度相近的查询意图，例如‘冻结账户’与‘关闭账户’的细微差异。构建过程中，标注工作面临专业术语密集性与用户表达多样性的双重压力，需确保七十七类意图在数据分布上的平衡性。此外，查询语句常包含简写、口语化表达及行业特定缩写，对文本清洗与归一化流程提出了较高要求。这些挑战共同塑造了数据集在现实应用中的复杂性与研究价值。

常用场景

经典使用场景

在自然语言处理领域，意图检测是对话系统与智能客服的核心任务，Banking77数据集以其精细标注的银行领域查询为这一任务提供了标准化的评估基准。该数据集涵盖了77类银行相关的用户意图，如账户查询、交易争议、密码重置等，为研究者提供了丰富的语义分类场景。通过该数据集，模型能够在高度专业化的金融语境下进行意图识别，从而推动对话系统在垂直领域的性能优化。

解决学术问题

Banking77数据集有效解决了意图检测研究中数据稀缺与领域适应性不足的学术难题。传统意图检测模型往往受限于通用语料，难以捕捉金融场景下的细微语义差异。该数据集通过提供大规模、高质量的专业标注，使研究者能够深入探索领域特定意图的分类边界，促进了双语句编码器等高效模型的发展，并为评估嵌入模型在细粒度分类任务上的性能提供了可靠依据。

衍生相关工作

围绕Banking77数据集，学术界衍生了一系列经典研究工作。其原始论文《Efficient Intent Detection with Dual Sentence Encoders》提出了基于双编码器的意图检测框架，为后续研究奠定了方法基础。此外，该数据集被纳入大规模文本嵌入基准MTEB和其多语言扩展MMTEB中，成为评估Sentence-BERT、SimCSE等前沿嵌入模型在领域特定分类任务上性能的关键组成部分，持续推动着意图检测与文本表示学习的技术演进。