C-MTEB/AFQMC

---
configs:
- config_name: default
data_files:
- split: test
path: data/test-*
- split: train
path: data/train-*
- split: validation
path: data/validation-*
dataset_info:
features:
- name: sentence1
dtype: string
- name: sentence2
dtype: string
- name: score
dtype:
class_label:
names:
'0': '0'
'1': '1'
- name: idx
dtype: int32
splits:
- name: test
num_bytes: 378718
num_examples: 3861
- name: train
num_bytes: 3396503
num_examples: 34334
- name: validation
num_bytes: 426285
num_examples: 4316
download_size: 2337418
dataset_size: 4201506
---
# Dataset Card for "AFQMC"

[More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

配置项：
- 配置名称：default
数据文件：
- 数据集拆分：测试集（test），路径：data/test-*
- 数据集拆分：训练集（train），路径：data/train-*
- 数据集拆分：验证集（validation），路径：data/validation-*
数据集信息：
特征字段：
- 字段名：sentence1，数据类型：字符串
- 字段名：sentence2，数据类型：字符串
- 字段名：score，数据类型：类别标签（class_label），类别名称映射：'0'对应'0'，'1'对应'1'
- 字段名：idx，数据类型：32位整数（int32）
数据集拆分详情：
- 拆分名称：测试集，字节数：378718，样本数：3861
- 拆分名称：训练集，字节数：3396503，样本数：34334
- 拆分名称：验证集，字节数：426285，样本数：4316
下载总大小：2337418，数据集总大小：4201506
---
# 「AFQMC」数据集卡片
[需补充更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集概述

数据集配置

• 默认配置 (config_name: default)
  • 数据文件路径
    • 测试集 (split: test): data/test-*
    • 训练集 (split: train): data/train-*
    • 验证集 (split: validation): data/validation-*

数据集信息

• 特征 (features)

  • sentence1: 数据类型 - 字符串 (dtype: string)
  • sentence2: 数据类型 - 字符串 (dtype: string)
  • score: 数据类型 - 分类标签 (dtype: class_label)，标签名 - 0: 0, 1: 1
  • idx: 数据类型 - 整数 (dtype: int32)

• 数据分割 (splits)

  • 测试集 (name: test)
    • 数据大小: 378718字节
    • 示例数量: 3861
  • 训练集 (name: train)
    • 数据大小: 3396503字节
    • 示例数量: 34334
  • 验证集 (name: validation)
    • 数据大小: 426285字节
    • 示例数量: 4316

• 数据集大小

  • 下载大小: 2337418字节
  • 数据集总大小: 4201506字节

搜集汇总

数据集介绍

构建方式

AFQMC（Ant Financial Question Matching Corpus）是蚂蚁金服在中文自然语言处理领域构建的语义相似度匹配数据集，专门用于评估模型在金融场景下对句子对语义等价性的判别能力。该数据集从蚂蚁金服的真实业务场景中采集，涵盖用户咨询、合同条款、产品描述等多样化文本，通过人工标注的方式为每对句子赋予二元标签（0表示不相似，1表示相似）。数据集的划分遵循标准监督学习范式，训练集包含34,334个样本，验证集4,316个样本，测试集3,861个样本，确保模型在训练、调参和最终评估阶段均有充足且独立的数据支撑。这种基于真实业务需求与精细人工标注的构建策略，使得AFQMC不仅具备领域特异性，还维持了较高的标注一致性。

使用方法

使用AFQMC数据集时，研究者可直接通过HuggingFace Datasets库加载，借助`load_dataset('C-MTEB/AFQMC')`命令获取已分好训练、验证与测试三个子集的数据。每个样本包含`sentence1`和`sentence2`两个文本字段以及整型的`score`标签，适合用于训练和评估基于BERT、RoBERTa等预训练模型的句子对分类任务。在C-MTEB基准测试框架下，该数据集通常作为语义相似度子任务的评测集，要求模型输出句子对的相似度分数并与真实标签对比。建议在加载后对标签进行数值化处理，并采用交叉验证的方式评估模型在金融文本上的泛化能力。

背景与挑战

背景概述

AFQMC（Ant Financial Question Matching Corpus）是由蚂蚁集团于2019年发布的中文语义匹配数据集，旨在推动自然语言处理领域在中文文本对等关系判别上的研究。该数据集由蚂蚁集团的研究团队构建，聚焦于金融场景下用户查询语句的语义等价性判断，核心研究问题是如何准确识别出表达相同意图但措辞不同的文本对。作为中文语义匹配领域的基准数据集之一，AFQMC被广泛用于评估预训练语言模型在中文语境下的语义理解能力，对金融智能客服、知识图谱构建等应用产生了深远影响。

当前挑战

AFQMC所解决的领域问题是中文语义匹配，其核心挑战在于金融领域文本中大量存在的同义异形现象（如“怎么还钱”与“还款方式”），以及专业术语与口语化表达的混杂，这对模型的语义泛化能力提出了严苛要求。在数据集构建过程中，挑战主要体现在高质量标注的获取上：需要人工判别金融查询文本对的语义等价性，而金融领域的专业性和歧义性导致标注一致性难以保证；同时，正负样本分布的不均衡（如常见问题与长尾查询的比例悬殊）也为模型训练带来了困难。

常用场景

经典使用场景

AFQMC（Ant Financial Question Matching Corpus）作为中文语义匹配领域的标杆性数据集，其经典使用场景聚焦于自然语言处理中的句子对语义等价性判别任务。该数据集通过构建金融领域真实场景下的问题对样本，要求模型精准判断两段文本是否表达相同语义意图。研究者常将其作为中文语义相似度计算与文本蕴含推理的基准测试平台，尤其适用于评估预训练语言模型在中文语境下的语义表征能力。在跨领域迁移学习研究中，AFQMC亦被广泛用作验证模型泛化性能的关键测试集。

解决学术问题

该数据集有效解决了中文语义匹配研究中长期存在的领域特定性评估难题，为学术研究提供了首个大规模、高质量的金融领域同义句判断基准。它填补了中文自然语言理解在专业垂直领域缺乏标准化评测资源的空白，使得研究者能够系统性地探究模型在处理专业术语、复杂句式及领域歧义时的表现。通过AFQMC，学术界得以量化分析不同架构的语义编码器在金融场景下的鲁棒性，推动了面向特定领域的文本表示学习理论发展。

实际应用

在实际产业应用中，AFQMC所定义的语义匹配任务直接服务于智能客服系统的用户意图识别模块，帮助精准匹配用户问题与知识库中的标准问法。该数据集训练的模型被广泛应用于金融行业的自动化问答系统、理赔流程中的相似案件检索以及合规审查中的文本比对场景。通过提升对同义表述的识别准确率，企业能够显著降低人工客服的重复咨询率，优化服务流程效率。

数据集最近研究

最新研究方向

在当前自然语言处理的前沿探索中，语义相似度计算作为衡量句子间语义等价关系的核心任务，持续受到学术界的广泛关注。AFQMC（Ant Financial Question Matching Corpus）作为面向中文金融领域的问题匹配数据集，其研究重心正从传统的文本表面特征匹配转向深度融合语义理解。近期，随着大语言模型和对比学习范式的蓬勃发展，研究者们利用该数据集探索预训练模型在金融场景下的细粒度语义判别能力，尤其是在处理同义改写、歧义消解及领域术语匹配等复杂情境时，AFQMC成为了评估模型是否具备稳健金融语义理解的关键标尺。该数据集不仅推动了中文金融NLP的基准测试标准化，其蕴含的领域知识也为风险控制、智能客服等实际应用提供了重要支撑，对构建可信赖的金融AI系统具有深远意义。