MTEB-BR (Massive Text Embedding Benchmark for Brazilian Portuguese)

MTEB-BR是一个针对巴西葡萄牙语的大规模文本嵌入基准数据集，包含22个来自本地葡萄牙语源的任务（无机器翻译），涵盖分类、多标签分类、配对分类、语义文本相似性、聚类、检索和重排序等7种任务类型，评估了93个模型（73个开源权重和20个商业API模型），覆盖仇恨言论、毒性、事实核查、法律、医疗、金融、科学、百科全书和编程文本等多个领域。MTEB-BR is a large-scale text embedding benchmark dataset tailored for Brazilian Portuguese. It contains 22 tasks exclusively sourced from local Brazilian Portuguese language resources, with no machine-translated content involved. Covering seven task types including classification, multi-label classification, pairwise classification, semantic textual similarity, clustering, retrieval, and re-ranking, this benchmark evaluates 93 models in total: 73 open-source weight-based models and 20 commercial API-based models. The dataset spans multiple domains such as hate speech, toxicity, fact-checking, legal, medical, financial, scientific, encyclopedic, and programming texts.

原始信息汇总

MTEB-BR 数据集概述

基本信息

• 名称: MTEB-BR (Massive Text Embedding Benchmark for Brazilian Portuguese)
• 用途: 评估文本嵌入模型在原生巴西葡萄牙语上的表现
• 开发语言: Python
• 许可证: 代码为 Apache-2.0，结果为 CC-BY-4.0，各任务数据集遵循各自原始许可证
• DOI: 10.5281/zenodo.21087217
• 在线排行榜: Hugging Face Leaderboard

数据集构成

任务规模

• 22 个任务，全部来自原生巴西葡萄牙语来源（无机器翻译）
• 7 种 MTEB 任务类型: 分类、多标签分类、句子对分类、语义文本相似度、聚类、检索、重排序
• 93 个模型已评估（73 个开源模型 + 20 个商业 API 模型）

领域覆盖

涵盖仇恨言论、毒性、事实核查、法律、医学、金融、科学、百科全书和编程文本等多个领域。

任务列表（22 个）

分类任务

任务	类型	数据来源
HateBR	分类	Vargas et al. 2022 — 仇恨言论
ToxSynPT	分类	AKCIT — 毒性（葡萄牙语合成）
FactckBrClassification	分类	FACTCK.BR 事实核查声明
PortuLexRRIP	分类	PortuLex — 法律修辞角色识别（8 类）

多标签分类任务

任务	数据来源
BrighterEmotionMultilabelClassification	BRIGHTER — 多情感分类

句子对分类任务

任务	数据来源
AssinRTE	Real et al. 2020 — 自然语言推理
InferBR	Rodrigues et al. 2024 — 自然语言推理

语义文本相似度任务

任务	数据来源
AssinSTS	Real et al. 2020
Assin2STS	ASSIN 2 (NILC) — 上游 mteb

聚类任务

任务	数据来源
WikipediaPTCategoriesClusteringP2P	维基百科派生的分类
MedPTClustering	AKCIT — 医学领域
JurisTCUClusteringP2P	TCU 裁决
SciELOClusteringP2P	SciELO 摘要
StackoverflowPtClustering	Stack Overflow em Português (CC-BY-SA)

检索任务

任务	数据来源
Quati	Bueno et al. 2024 — 50K 子样本
JurisTCU	Ribeiro et al. — TCU 裁决
BRTaxQAR	UNICAMP-DL — 税法问答
FaQuADIR	Sayama et al. 2019 — 高等教育 FAQ
MedPTRetrieval	AKCIT — 医学领域
FaqBacenRetrieval	巴西中央银行 FAQ

重排序任务

任务	数据来源
QuatiReranking	Bueno et al. 2024 — BM25 困难负样本
JurisTCUReranking	TCU 裁决 — BM25 困难负样本

使用方法

安装

bash pip install git+https://github.com/tardellirs/mteb-br.git

评估单个模型

python import mteb_pt.register import mteb

model = mteb.get_model("intfloat/multilingual-e5-large-instruct") task = mteb.get_task("HateBR") mteb.evaluate(model, tasks=[task])

运行完整 22 任务套件

bash python scripts/run_mteb_por_v2.py intfloat/multilingual-e5-large-instruct

支持断点续跑，兼容抢占式/块存储环境。

模型提交

• 通过 Hugging Face Leaderboard 讨论区提交
• 或通过 GitHub Issue 使用模型提交模板
• 需要提供：model_id、22 个任务的 JSON 结果文件、可复现的评估命令
• 接受闭源 API 模型

新任务提议

候选任务需满足：

• 数据来源于原生巴西葡萄牙语（非机器翻译）
• 具有清晰、宽松的许可协议
• 能够区分不同嵌入模型的性能差异

维护者

Tardelli Stekel — IFSP, São Paulo, Brazil 邮箱: [e-mail]

引用

bibtex @misc{mteb-br-2026, title = {MTEB-BR: A Text Embedding Benchmark for Brazilian Portuguese}, author = {Stekel, Tardelli R. C.}, year = {2026}, doi = {10.5281/zenodo.21087217}, url = {https://doi.org/10.5281/zenodo.21087217} }

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，文本嵌入模型的评估基准多集中于英语，而巴西葡萄牙语（PT-BR）的标准化评测体系长期缺位。MTEB-BR作为面向原生态巴西葡萄牙语的大规模文本嵌入基准，基于mteb库扩展构建，其核心原则在于所有任务数据均源自本土语料，绝无机器翻译痕迹。它整合了22项评测任务，覆盖分类、多标签分类、句对分类、语义文本相似度、聚类、检索与重排序等七大类型，任务语料涵盖仇恨言论、毒性检测、事实核查、法律、医疗、金融、科学、百科及编程文本等多元领域。每项任务均以Hugging Face数据集形式锚定特定修订版本，确保结果可复现。

特点

该数据集最显著的特性在于其纯正的语言生态——22项任务全部由巴西葡萄牙语原生创作或挖掘而来，排除了机器翻译引入的语义偏差，从而真实反映嵌入模型对本土语言的语义理解能力。其评估架构兼具广度与深度：广度体现在覆盖7种MTEB任务类型及93个已评测模型（含73个开源模型与20个商业API模型）；深度则体现在提供每任务得分、每查询Parquet文件以及完整的复现脚本。此外，数据集采用了可恢复的评估机制，支持在中断后从断点续跑，配合持久化缓存策略，能够有效应对云端竞价实例的预抢占问题。

使用方法

使用MTEB-BR进行模型评测极为便捷。用户可通过pip直接从GitHub安装工具包，随后在Python环境中依次导入mteb_pt.register模块以注册任务、调用mteb.get_model加载目标模型、借助mteb.get_task指定任务，最终由mteb.evaluate启动单任务评估。若需执行完整的22项任务套件，可直接运行scripts/run_mteb_por_v2.py脚本，该脚本支持自动跳过已完成的任务对以实现断点续跑。用户还可通过compute_bootstrap_ci.py脚本计算两个模型在配对引导法下的p值，从而进行统计显著性检验。所有评估结果均以标准化JSON格式输出，便于后续分析与排行榜提交。

背景与挑战

背景概述

MTEB-BR（Massive Text Embedding Benchmark for Brazilian Portuguese）是一个专为巴西葡萄牙语文本嵌入模型设计的评估基准，由来自巴西圣保罗联邦研究所（IFSP）的研究员Tardelli Stekel于2026年创建。该基准作为MTEB（Muennighoff等人，2023）与MMTEB（Enevoldsen等人，2025）框架的扩展，核心研究问题在于填补葡萄牙语文本嵌入评估的空白。面对自然语言处理领域对多语言模型性能日益增长的需求，MTEB-BR通过整合22项源自本地葡萄牙语语料库的任务（涵盖分类、聚类、检索、重排序等7种类型），显著提升了对巴西方言语境的理解精度。其集成93个模型（包括73个开源模型与20个商业API模型）的评估结果，为相关研究提供了系统化参考基准，对推动葡语NLP应用发展具有重要影响力。

当前挑战

该数据集解决的领域问题主要体现为：现有文本嵌入基准普遍忽视低资源语言如巴西葡萄牙语的特性，导致模型在本地化任务（如仇恨言论检测、法律文本分析、医学文献检索等）中表现欠佳。构建过程中面临的具体挑战包括：第一，确保所有22项任务数据均源自原生PT-BR来源，严格排除机器翻译内容以避免引入语言偏差；第二，协调多个异质数据集的许可协议（如CC-BY-4.0、Apache-2.0等），确保合规开放；第三，设计可恢复性评估流程以应对计算资源的波动（如云计算现货实例的中断）；第四，通过配对自助法（paired-bootstrap）计算统计置信区间，建立可靠的模型性能比较框架，避免因随机性导致的评估偏差。

常用场景

经典使用场景

在巴西葡萄牙语的文本嵌入模型评估中，MTEB-BR被广泛用作标准基准。研究者利用其涵盖的22个原生任务（如仇恨言论检测、毒性分类、事实核查、法律文书分析、医学文献聚类等），系统性地评估不同嵌入模型在分类、聚类、检索、重排序等七类典型任务上的表现。该基准通过提供统一的评估框架和公开的排行榜，使得研究者能够公平比较开源模型与商业API模型的语义表示能力，尤其关注模型对巴西葡萄牙语特有语言现象（如俚语、法律术语、医学缩写）的编码质量。经典实验范式包括在固定提示模板下运行全套任务套件，并借助配对自助法计算模型间的统计显著性差异。

解决学术问题

该数据集着力解决巴西葡萄牙语自然语言处理领域长期存在的评估碎片化问题。此前，针对该语言的嵌入模型评测往往依赖机器翻译后的英文基准或零散的任务特定数据集，难以全面反映模型在真实本土语境中的综合表现。MTEB-BR通过构建完全源于原生语料的标准化评测体系，首次实现了对文本嵌入模型在巴西葡萄牙语上聚类对齐度、语义相似度、跨领域检索精度等核心维度的系统化度量。其学术贡献在于揭示了多语言嵌入模型在低资源语言变体上的性能退化现象，并为模型优化提供了可复现的诊断工具，间接推动了对葡萄牙语特有语素和句法结构的表示学习研究。

衍生相关工作

MTEB-BR的发布催生了多个前沿研究方向。其一，研究者基于其22任务评测体系提出了面向巴西葡萄牙语的指令微调策略，如为检索任务设计特定任务前缀（task-specific instruction prefix），显著缩小了与英文基线模型的性能差距。其二，衍生出了跨语言知识迁移研究，通过对比MTEB-BR与原始MTEB（英文）的得分差异，量化了多语言模型在葡萄牙语上的表示退化程度，并据此开发了面向低资源语言变体的对抗性微调方法。其三，该基准的公开结果数据集被用于训练模型性能预测器，探索在未评测模型上通过元学习预估巴西葡萄牙语嵌入质量的可能性。此外，HateBR和InferBR等子任务被单独提取，成为仇恨言论弱监督标注和葡萄牙语自然语言推理能力增强的专项研究底座。