BCCard/BCAI-Finance-Kor-Embedding-Pair

韩语金融领域（锚点，正例）对数据集，用于句子嵌入模型训练和作为检索评估的语料库。

Korean financial-domain (anchor, positive) pair dataset for sentence-embedding model training and as a retrieval corpus for evaluation.

搜集汇总

数据集介绍

构建方式

该数据集源自韩国金融领域，由BC Card内部QA数据与官网（涵盖信用卡、FAQ、公告、条款）爬取内容混合构建而成。原始语料经文本噪声清除与PII脱敏后，采用LumberChunker技术——借助大语言模型（Claude Sonnet）进行语义边界检测，并设置512/1024 token双阈值进行智能分块。针对每个分块，再通过多查询指令反向翻译技术（Multi-Query Instruction Backtranslation）生成三种不同风格的查询变体，以增强指令微调场景下的多样性。最终通过跨源去重与整合，形成包含45,589条记录、36,281个唯一语料块的数据池。

特点

该数据集具备双重角色，既可作为句子嵌入模型的训练输入，又能作为信息检索评估的候选语料库。其训练集包含45,589组（锚点，正例）对，适用于批内负采样或难负样例对比学习。独特之处在于，它通过source_chunk_id字段实现了数据浓缩：将同一文本的不同查询变体合并为唯一语料条目，构成了覆盖36,281个独立块的检索池。此外，数据集涵盖了BCAI原始QA、FAQ直接问答以及经LLM处理的长文本等多种来源，并保留了完整的元数据，包括分块配置哈希值用于实验复现。

使用方法

在检索评估场景中，用户可加载数据集后以source_chunk_id为键、positive为值构建语料字典，再配合配套的Triplet数据集提供的相关块ID与相关性评分，计算NDCG、MRR等指标。对于对比学习训练，可直接使用锚点与正例字段，结合Sentence Transformers库中的MultipleNegativesRankingLoss损失函数进行微调。若需引入显式难负样例，则可加载Triplet数据集的（锚点，正例，负例）三元组，该负例经由FAISS检索与LLM评分联合筛选，能有效提升嵌入模型的判别能力。

背景与挑战

背景概述

在自然语言处理领域，高质量的领域特定嵌入模型对于提升检索与语义理解任务的性能至关重要，尤其是在金融等专业场景中，通用嵌入模型常因缺乏领域知识而表现欠佳。BCAI-Finance-Kor-Embedding-Pair数据集由韩国BC Card公司的AX团队于2026年创建，旨在为韩语金融领域的句子嵌入模型训练与评估提供专用资源。该数据集包含45,589个（锚点，正例）对，融合了内部BCAI问答数据与BC Card网站爬取内容（涵盖卡片产品、常见问题、通知及条款），并通过LumberChunker进行语义分块、利用指令反向翻译生成多样查询变体。作为配套三元组数据集的检索语料库，它填补了韩语金融嵌入基准数据的空白，显著推动了该领域句子级表示学习的研究进展。

当前挑战

该数据集所解决的领域核心挑战在于韩语金融场景下句子嵌入模型的领域适配问题——通用模型常无法精准建模金融术语与问答对间的语义关系，而构建过程亦面临多重挑战。语料来源异构，内部问答与网站爬取文本在风格和结构上存在显著差异，需通过多源分块策略（如LLM引导的语义边界检测）与噪声去除、PII掩码等预处理统一处理。此外，约1.06%的语料块因跨页面重复出现而存在字节级相同文档，这会在检索评估中导致未标注相关块被误判为不相关。查询风格的异质性——真实用户问题与LLM生成查询间的风格差异——进一步增加了模型训练的复杂度，亟需通过多样化与硬负例挖掘等策略加以缓解。

常用场景

经典使用场景

在韩语金融领域，句子嵌入模型的训练与评估长期受限于高质量、领域适配的标注数据匮乏。BCAI-Finance-Kor-Embedding-Pair数据集应运而生，作为一对经典的正样本对集合，其核心用途在于通过对比学习框架训练语义嵌入模型。数据集中包含45,589组（锚点，正例）对，可借助批次内负样本或显式困难负样本策略，引导模型学习金融术语、产品描述及客户咨询之间的深层语义关联，从而提升嵌入向量的判别力与领域专精度。

解决学术问题

该数据集精准回应了韩语金融信息检索与语义匹配研究中数据稀疏与领域偏移两大痛点。一方面，它提供了来自BC Card内部QA记录及官方网站爬取内容的真实金融文本，使模型能够习得金融语境下特有的词汇分布与语用模式；另一方面，通过LumberChunker语义分块与多查询指令反向翻译技术，显著增强了训练样本的多样性，有助于缓解过拟合风险。这一资源为信息检索、文本相似度计算及零样本跨域迁移等学术方向奠定了可复现的基准。

衍生相关工作

围绕该数据集衍生了一系列具有高影响力的相关工作。最值得关注的是其配套的BCAI-Finance-Kor-Embedding-Triplet数据集，在Pair基础上引入显式困难负样本与分级相关性标签，为排序学习与检索评估提供了更完整的基准。此外，研究团队披露的数据处理流水线MokaGrinder，将语义分块、指令反向翻译与混合负例挖掘整合为可复现框架，激发了对金融领域嵌入训练管道的系统化探索。未来计划中的词法困难负例扩展与LLM标注验证方案，则预示着该资源将持续推动韩语语义嵌入方法论的演进。