codefuse-ai/F2LLM-v2

该数据集是一个大规模多语言文本嵌入数据集，包含超过50种语言（如英语、中文、俄语、西班牙语等），支持文本检索、文本分类、句子相似度、特征提取等任务，样本量介于1000万到1亿之间，采用Apache-2.0开源许可。This dataset is a large-scale multilingual text embedding dataset, covering over 50 languages (e.g., English, Chinese, Russian, Spanish, etc.), supporting tasks such as text retrieval, text classification, sentence similarity, and feature extraction, with a sample size between 10 million and 100 million, under the Apache-2.0 license.

搜集汇总

数据集介绍

构建方式

F2LLM-v2数据集是一项面向多语言嵌入模型训练的大规模语料库，其构建融合了来自多源异构文本的清洗与整合策略。研究团队从涵盖93种语言的互联网语料、平行语料及分类标注数据中，通过严格的去重与质量过滤流程筛选出高质量文本对。特别强调了避免与评估集污染的问题，明确建议移除MKQA与SIB200的训练集部分，以维护下游任务评估的公正性。数据集整体规模达到千万级别以上，为多语言文本检索、分类及语义相似度等任务提供了充足且均衡的训练素材。

特点

该数据集最显著的特性在于其包容性的语言覆盖范围，共囊括93种语言，从英语、中文等常见语言到亚美尼亚语、高棉语等低资源语言均予收录，展现了构建公平多语言嵌入模型的雄心。在任务适配性上，数据集横跨文本检索、分类、句子相似度及特征提取四大范畴，使得基于该数据训练的模型能够胜任多样化的自然语言处理场景。此外，其Apache-2.0开源许可协议为学术研究与工业应用提供了灵活的使用权限。

使用方法

研究者可直接借助HuggingFace平台加载F2LLM-v2，通过标准的数据集API访问多语言文本样本。在模型训练中，推荐将数据组织为查询-文档正负例对的形式以优化对比学习目标，或转化为分类标签格式以监督微调。为避免训练数据与评估基准的重叠导致性能虚高，务必在预处理阶段剔除MKQA及SIB200对应的子集。对于特征提取等无监督任务，可直接利用原始文本序列生成稠密向量表征。

背景与挑战

背景概述

F2LLM-v2数据集于2026年由Ziyin Zhang、Zihan Liao、Hang Yu、Peng Di与Rui Wang等研究人员联合发布，旨在推动多语言嵌入模型的发展。该数据集聚焦于文本检索、文本分类、句子相似度及特征提取等核心自然语言处理任务，覆盖超过90种语言，包括英语、中文、俄语、西班牙语、法语及德语等全球主要语种，以及众多低资源语言。其研究背景源于多语言嵌入领域对大规模、高质量且均衡语料库的迫切需求，旨在提升模型在不同语言场景下的泛化性能与公平性。该数据集的发布为多语言嵌入基准评测提供了重要资源，增强了社区对低资源语言表现的关注与评估能力，对进一步优化多语言自然语言处理模型具有显著影响力。

当前挑战

F2LLM-v2数据集面临多方面的挑战。首先，在领域问题层面，多语言嵌入模型需应对语系差异、语法结构多样性及词汇覆盖不均衡等固有难题，尤其在低资源语言上实现高性能检索与分类仍显困难。其次，构建过程中需处理语料污染问题，如MKQA和SIB200的训练分割已被MTEB基准使用，若不加以排除将导致评估偏差。此外，收集与清洗来自90余种语言的文本数据，确保其规模（介于1000万至1亿样本之间）与质量，对数据去重、标注一致性及语言专家资源的调配构成严峻考验。这些挑战要求兼顾模型性能、数据纯净度与多语言包容性之间的平衡。

常用场景

经典使用场景

F2LLM-v2数据集以其庞大的规模和覆盖近百种语言的语料库，在文本检索、文本分类、句子相似度计算及特征提取等任务中展现出非凡的通用性。该数据集最经典的使用场景在于多语言语义理解与检索，研究者可借助其丰富且均衡的语言资源，训练出能够跨语言泛化的嵌入模型。无论是构建零样本的跨语言文档匹配系统，还是评估多语言预训练语言模型在低资源语言上的表征能力，F2LLM-v2都提供了可靠且标准化的基准。其精心设计的训练集与评估拆分，使得模型开发与公平比较变得简易而高效。

衍生相关工作

受F2LLM-v2数据集启发的经典工作涵盖了诸多前沿方向，推动了多语言嵌入领域的快速发展。研究者基于该数据集训练了如multilingual-e5系列、LaBSE的增强版以及多种高效双编码器架构，这些模型在MTEB多语言榜单上取得了领先成绩。此外，该数据集催生了针对低资源语言的对比学习优化方法，以及旨在缓解语言间分布差异的对抗性训练框架。同时，其严谨的污染控制建议促使学界重视训练与评估数据的隔离，衍生出一系列数据去重与净化策略。这些工作共同构建了一个更加健康、可复现的多语言NLP研究生态。

数据集最近研究

最新研究方向

当前，多语言文本嵌入模型的研究正朝着包容性、高性能与计算效率的有机统一迈进。F2LLM-v2数据集作为该领域的里程碑式资源，凭借其横跨近70种语言的超大规模文本对，为训练通用且鲁棒的多语言嵌入系统奠定了坚实基础。前沿方向聚焦于利用该数据集攻克跨语言语义匹配与零样本检索难题，尤其注重在低资源语言上的泛化能力。值得注意的是，研究界已着手处理数据污染问题，明确建议在MTEB评估中剔除MKQA与SIB200的训练拆分，以确保基准测试的纯净与公平。这一举措不仅推动了嵌入模型在全球化多语言场景下的可信评估，也促使研究者重新审视训练数据的构成对模型泛化性能的深远影响。