BCCard/BCAI-Finance-Kor-Embedding-Triplet

BCAI金融韩语嵌入三元组数据集是一个专门用于微调句子嵌入模型的韩语金融领域数据集。它包含45,394个三元组（锚点、正例、负例），通过FAISS top-K和Claude Sonnet LLM判断进行混合硬负例挖掘生成。数据集分为训练集（43,394个）、验证集（1,000个）和测试集（1,000个，作为黄金集）。在anchor_parent_doc_id级别上进行了源分离，以防止跨分割的兄弟泄漏。验证集和测试集包含分级相关性标签（relevant_chunk_ids和relevance_scores），相关性分数分为1、2、3级（0表示稀疏）。数据来源于BCAI问答和BC Card网站爬取，经过结构化、文本噪声处理、PII掩码、LLM引导的语义分块、多查询指令反向翻译等处理。该数据集主要用于检索评估，支持计算NDCG@10、MRR@10、Recall@10和P@1等指标。数据集还提供了详细的局限性分析（如领域狭窄、硬负例泄漏、词汇重叠偏差等）和未来工作计划（如词汇硬负例挖掘、查询风格多样化等）。

The BCAI Finance Kor Embedding Triplet dataset is a Korean financial-domain triplet dataset designed for fine-tuning sentence-embedding models. It contains 45,394 triplets (anchor/positive/negative) mined using FAISS top-K and Claude Sonnet LLM judge (Hybrid Hard-Negative mining). The dataset is split into three parts: train (43,394), validation (1,000), and test (1,000, the Golden set). It is source-disjoint at the anchor_parent_doc_id level to prevent sibling leakage across splits. The validation and test splits include graded relevance labels (relevant_chunk_ids and relevance_scores) with relevance scores of 1, 2, 3 (0 for sparse). The data is sourced from BCAI Q&A and BC Card site crawls, processed through structuring, text-noise handling, PII masking, LLM-guided semantic chunking, and multi-query instruction backtranslation. The dataset is primarily used for retrieval evaluation, with recommended metrics including NDCG@10, MRR@10, Recall@10, and P@1. It also includes detailed limitations (e.g., narrow domain, hard-negative leakage, lexical overlap bias) and future work plans (e.g., lexically-hard negatives, query style diversification).

搜集汇总

数据集介绍

构建方式

该数据集名为BCAI-Finance-Kor-Embedding-Triplet，专为韩语金融领域的句子嵌入模型微调而设计。其构建过程遵循一套严谨的流水线：首先从BC Card官网及BCAI问答库中采集原始语料，经文本清洗与PII脱敏后，利用LumberChunker算法进行语义分块，并通过多查询指令反向翻译生成查询变体。随后，采用混合困难负样本挖掘策略，先以FAISS检索top-K候选，再由Claude Sonnet大语言模型作为裁判筛选出高质量负样本，最终形成包含45,394个三元组的集合。为确保评估的公正性，数据集以anchor_parent_doc_id为单元进行分源切分，杜绝同源文档的片段泄露至不同分片，并额外为验证集与测试集赋予分级相关性标签。

特点

本数据集的核心特点在于其精细的层级结构与评估严谨性。数据划分为训练集、验证集和测试集，其中测试集被严格定义为金标准，在模型训练和超参数选择过程中完全隔离，仅用于最终检索性能评估。相关性标签采用三级制（rel=1,2,3），依据文档内块距离进行自动标注，为NDCG、MRR等分级指标的计算提供了直接依据。此外，数据集中约75%的负样本被判定为高难度，有效提升了训练信号的挑战性。数据集还明确报告了约2%的跨分片负样本泄露、约6%的跨分片查询重复以及词汇重叠偏差等局限性，体现了高度的透明性。

使用方法

使用该数据集时，需配合其配套语料库BCAI-Finance-Kor-Embedding-Pair。典型流程包括：加载测试集（金标准）中的查询文本，利用嵌入模型对语料库中的约3.6万个唯一文档块进行编码，计算查询与所有语块的余弦相似度，获取top-10检索结果。然后，根据查询对应的relevant_chunk_ids和relevance_scores构建qrels字典，计算NDCG@10、MRR@10、Recall@10及P@1等指标。推荐在报告结果时一并提供BM25基线，以隔离语义模型带来的真实增益。同时，官方建议在最终评估前可能采用池化方法对qrels进行富集，以修复跨文档相关块未被标注的问题。

背景与挑战

背景概述

该数据集由BC Card AX团队于2026年创建，专注于韩国金融领域句子嵌入模型的微调。其核心研究问题在于如何构建高质量的三元组数据（锚点、正例、负例），以提升金融文本检索和语义相似性任务的性能。通过结合FAISS top-K检索与Claude Sonnet大模型评判的混合硬负例挖掘策略，数据集提供了45,394个三元组，并采用分级相关性标签（rel 1-3）对验证集和测试集进行标注。该数据集影响力体现在为韩国金融领域信息检索提供了首个公开的基准评估集合，其严格的源文档级分割策略和黄金测试集设计，有效防止了数据泄露，确保了评估结果的可靠性。

当前挑战

当前数据集面临的主要挑战包括：1) 领域专精性限制——数据集仅涵盖韩国金融服务业（BC Card产品、FAQ、条款等），泛化至其他领域的能力未经证实；2) 标签有效性存疑——相关性评分基于文档内距离启发式规则，未经过人类或大模型验证，且标注范围局限于父文档内，导致跨文档的相关片段被错误标记为不相关；3) 存在约6%的跨分割重复查询问题，相同问句因出现在不同页面而被分配到不同分割，可能造成记忆化假象并引入评估噪声；4) 约73%的三元组可通过词汇匹配简单解决，表明当前负例挖掘在语义区分度上存在不足。

常用场景

经典使用场景

在金融领域的语义嵌入模型微调中，BCAI-Finance-Kor-Embedding-Triplet数据集凭借其精心设计的锚点-正例-负例三元组结构，成为提升句子嵌入模型检索质量的核心训练资源。其经典使用方式为基于多负例排名损失（MNRL）进行模型微调，通过混合硬负例挖掘策略（FAISS相似度检索结合Claude Sonnet大模型判别）产生的高质量负例，迫使模型学习更精细的语义区分能力。此外，该数据集提供了包含分级相关性标签（relevance scores 1-3）的验证集与测试集，使其尤其适用于评估模型在金融领域文档检索任务上的表现，如NDCG@10、MRR@10、Recall@10等指标的计算。

衍生相关工作

围绕BCAI-Finance-Kor-Embedding-Triplet数据集已衍生出多个方向的研究工作。首先，其配套的成对语料库（BCAI-Finance-Kor-Embedding-Pair）构成了检索评估的底库，研究者可在此之上开发多查询指令回译、LumberChunker语义分块等预处理流水线。其次，数据集的局限性分析直接催生了面向词汇重叠偏见的BM25硬负例混合挖掘方法，以及基于TREC评估风格的池化标注补救措施，用以修复跨文档相关性标注缺失问题。此外，该数据集采用的混合硬负例挖掘范式（向量检索与大模型判别相结合）已被其他领域的数据集构建工作借鉴，成为领域嵌入模型微调的标准参考流程。

数据集最近研究

最新研究方向

在韩语金融领域，密集检索模型的微调与评估正迎来高质量基准数据集的支撑。BCAI-Finance-Kor-Embedding-Triplet作为首个融合硬负样本挖掘与分级相关性标注的韩语金融三元组数据集，其采用FAISS与Claude Sonnet协同的混合硬负采样策略，以及基于文档内分块距离的精细化相关度分级（rel 1-3），为句嵌入模型的细粒度排序能力评估提供了黄金测试集。该数据集严格遵循源文档级别无交叉泄露的划分原则，并通过LLM辅助审计揭示了约6%的跨分割重复查询问题与标签范围局限导致的假阴性，这直接推动了当前研究对基于池化策略的Qrels真值增强、词汇级硬负样本混合（BM25+嵌入）以及查询风格多样性扩充等前沿方向的探索，旨在系统性消除表面信号捷径，提升语义判别力的真实度量。