mteb-pt-results

MTEB(por, v2) 是一个针对巴西葡萄牙语文本嵌入模型的基准测试结果数据集。该数据集存储了93个不同模型在22个原生巴西葡萄牙语任务上的评估结果，这些任务包括检索（6个任务）、重排序（3个任务）、聚类（5个任务）、语义文本相似性（2个任务）、对分类（2个任务）、分类（3个任务）和多标签分类（1个任务），涵盖了从MedPTRetrieval、FaQuADIR、Quati等检索任务到AssinSTS、Assin2STS等语义相似性任务，以及HateBR、ToxSynPT等分类任务。所有评估均使用mteb工具在固定版本的数据集上进行，专注于评估模型对原生葡萄牙语文本的理解和表示能力，不包含任何机器翻译任务。数据集通过严格的筛选过程从原始27个任务池中curated而来，剔除了5个低信噪比任务，确保最终22个任务能够有效区分不同模型的性能。数据以JSON格式存储，每个模型在每个任务上的评估结果独立保存，适用于文本嵌入模型的性能比较、基准测试研究以及葡萄牙语自然语言处理模型的评估。

MTEB(por, v2) is a benchmark results dataset for Brazilian Portuguese text embedding models. It stores evaluation results of 93 different models on 22 native Brazilian Portuguese tasks, including retrieval (6 tasks), reranking (3 tasks), clustering (5 tasks), semantic textual similarity (2 tasks), pair classification (2 tasks), classification (3 tasks), and multilabel classification (1 task). These tasks cover retrieval tasks such as MedPTRetrieval, FaQuADIR, and Quati, semantic similarity tasks like AssinSTS and Assin2STS, and classification tasks like HateBR and ToxSynPT. All evaluations are conducted using the mteb tool on fixed versions of datasets, focusing on assessing models understanding and representation capabilities for native Portuguese text, with no machine translation tasks included. The dataset is curated from an original pool of 27 tasks through a strict filtering process that removed 5 low signal-to-noise ratio tasks, ensuring the final 22 tasks effectively differentiate model performance. Data is stored in JSON format, with independent evaluation results for each model on each task, suitable for performance comparison of text embedding models, benchmark research, and evaluation of Portuguese natural language processing models.

原始信息汇总

MTEB(por, v2) — 基准测试结果数据集

数据集概述

该数据集是 MTEB(por, v2) 基准测试的规范结果存储库，一个原生的 巴西葡萄牙语 文本嵌入基准测试。包含 93 个模型 × 22 个原生葡萄牙语任务（无机器翻译任务）。每个模型均使用 mteb 在固定版本的（pinned-SHA）数据集上进行评估。

模型涵盖：开放权重模型、封闭/API 模型，以及一个 mteb-pt/baseline-random-encoder 随机基准下限（平均分 22 = 0.1816）。

• 语言: 葡萄牙语 (pt)
• 许可协议: MIT
• 数据集大小: 1K < n < 10K
• 标签: mteb, sentence-transformers, benchmark, portuguese, brazilian-portuguese, embeddings

排行榜（前10名，按 mean_22 排序）

排名	模型	mean_22
1	google/gemini-embedding-001	0.6820
2	Qwen/Qwen3-Embedding-8B	0.6704
3	tencent/KaLM-Embedding-Gemma3-12B-2511	0.6701
4	voyage/voyage-context-4	0.6676
5	Octen/Octen-Embedding-8B	0.6674
6	Qwen/Qwen3-Embedding-4B	0.6621
7	voyage/voyage-context-3	0.6571
8	voyage/voyage-3-large	0.6552
9	voyage/voyage-4-large	0.6532
10	Salesforce/SFR-Embedding-Mistral	0.6523

完整 94 个模型的评分矩阵见：SCORE_MATRIX_FINAL_22.md

仓库结构

results/<模型slug>/<修订版本>/<任务名称>.json # 每个 (模型, 任务) 对应一个 mteb ScoresDict

模型slug 为 Hugging Face ID，其中 / 替换为 __。每个分片下的 main_score 位于 scores 下。

22个任务（按类别分组）

任务类别	任务列表
检索（6个）	MedPTRetrieval, FaQuADIR, Quati, FaqBacenRetrieval, JurisTCU, BRTaxQAR
重排序（3个）	QuatiReranking, JurisTCUReranking, PortuLexRRIP
聚类（5个）	MedPTClustering, WikipediaPTCategoriesClusteringP2P, JurisTCUClusteringP2P, SciELOClusteringP2P, StackoverflowPtClustering
语义文本相似度 STS（2个）	AssinSTS, Assin2STS
对分类（2个）	AssinRTE, InferBR
分类（3个）	HateBR, ToxSynPT, FactckBrClassification
多标签分类（1个）	BrighterEmotionMultilabelClassification

注意：Quati 使用 5 万段落子样本（修订版本 5cb87d9）。

任务筛选（27 → 22）

通过鉴别力/共同度分析（任务间 Spearman 相关、留一法共识、随机基线下限、分数离散度、排名异常、双因子分析），从最初的 27 个任务池中剔除了 5 个低信号任务：

• EnemEssayRegression, NarrativeEssaysBRRegression, BrighterEmotionIntensityRegression —— 三个连续回归任务因子共同度最低（<0.08）；两个作文任务彼此甚至不相关 → 嵌入无法可靠捕捉目标。
• CamaraProposicoesClustering —— 辨别力最低（标准差 0.032；模型几乎无法区分）。
• OlidBrMultilabelClassification —— 最佳模型仅比随机基线下限高 0.088。

Spearman(mean_27, mean_22) = 0.99（全局排名稳定；剪枝去除了噪音，保留了信号）。详见 docs/task_pruning_decision_2026-06-29.md。

引用

bibtex @misc{mtebpt2026, title = {MTEB(por): a Brazilian Portuguese sub-benchmark for MTEB}, author = {Stekel, Tardelli and contributors}, year = {2026}, howpublished = {url{https://github.com/tardellirs/huggingface-mteb-pt}} }

搜集汇总

数据集介绍

构建方式

MTEB(por, v2) 基准结果数据集是专为巴西葡萄牙语文本嵌入模型设计的评测结果存储库。该数据集通过整合93个模型在22项原生葡萄牙语任务上的评估结果构建而成。评估过程严格遵循mteb框架，并锁定特定版本的数据集版本，以确保结果的可复现性。任务池从最初的27项任务经过精细筛选，基于任务间Spearman相关性、共识分析、随机基线区分度及因子分析等统计方法，剔除了5个低信号任务（如连续回归任务和低区分度聚类任务），最终保留22项高质量任务，涵盖检索、重排序、聚类、语义文本相似度、成对分类、分类及多标签分类七大类。

特点

该数据集的核心特点在于其原生性与严谨性：所有任务均使用人工标注或天然存在的巴西葡萄牙语数据集，完全摒弃机器翻译内容，从而精准反映语言特异性。评测范围覆盖94个模型（包括开源权重模型、闭源API模型及随机基线模型），并存储每个模型在每个任务上的完整ScoresDict结果（含主分数及按切分统计）。排行榜以22项任务的均值（mean_22）作为综合排名指标，展现了从0.68（谷歌Gemini Embedding 001）到0.18（随机基线）的区分光谱。此外，数据集的存储结构以JSON文件按模型与任务组织，便于细粒度分析与横向比较。

使用方法

研究人员可通过访问HuggingFace数据集页面直接浏览完整的94模型×22任务的矩阵结果，或通过仓库中的SCORE_MATRIX_FINAL_22.md文件获取排行榜概览。对于需要深入分析的用户，可从results/目录下按模型别名和任务名称路径精确提取单个ScoresDict JSON文件，例如results/google__gemini-embedding-001/<revision>/MedPTRetrieval.json。利用mteb库（固定SHA版本）可复现评估流程，确保结果一致性。数据集采用MIT许可协议，支持研究、基准测试及模型改进等相关学术用途。

背景与挑战

背景概述

MTEB(por, v2)是由Stekel和Tardelli等人于2026年创建的巴西葡萄牙语文本嵌入基准测试结果集，旨在填补多语言嵌入评估中低资源语言（尤其是巴西葡萄牙语）的空白。该基准以MTEB框架为基础，精选22项原生葡萄牙语任务（涵盖检索、重排序、聚类、STS等七大类），通过歧视性和共线性分析从27项候选任务中剔除低信号任务，确保评估的鲁棒性与鉴别力。其发布为巴西葡萄牙语的自然语言处理研究提供了标准化评估平台，推动了该语言嵌入模型的公平比较与进步，对低资源语言嵌入技术的发展具有重要示范意义。

当前挑战

该数据集面临的核心挑战包括：一是巴西葡萄牙语作为低资源语言，缺乏大规模、高质量的原生嵌入评估基准，现有任务多依赖机器翻译，难以真实反映模型在本地化场景中的表现；二是基准构建过程中需解决任务选择的主观性，通过Spearman相关性和因子分析剔除回归类、低鉴别度任务，确保剩余任务能有效捕捉嵌入质量差异；三是评估结果的可重复性与扩展性挑战，需维护固定版本的SHA任务集以支持93个模型的跨模型比较，同时平衡闭源API模型与开源模型的公平对比。

常用场景

经典使用场景

MTEB(por, v2)作为巴西方言语义嵌入模型的标准化评测基准，广泛应用于多语言自然语言处理领域中的模型性能对比与优化研究。该数据集涵盖了检索、重排序、聚类、语义文本相似度、句子对分类、文本分类及多标签分类七大类共22项原生葡萄牙语任务，为评估嵌入模型在巴西葡萄牙语场景下的综合表现提供了严谨且多元的测试框架。研究人员借助这一基准，能够系统性地衡量不同模型在语义表示与信息检索能力上的差异，推动针对低资源语言嵌入技术的持续改进与创新。

实际应用

在实际应用中，MTEB(por, v2) 为巴西本土企业及研究机构在开发葡萄牙语智能搜索引擎、对话系统、法律文书分析平台及医疗知识图谱等产品时提供了至关重要的模型选型参考。基于该基准的评测结果，开发者能够依据具体应用场景——如法律文本检索、医疗文献聚类或社交媒体情感分析——选择性能最优的嵌入模型，从而显著提升自然语言处理产品在巴西葡萄牙语环境下的准确性与用户体验，加速AI技术在本土化场景中的落地与普及。

衍生相关工作

该数据集衍生了一系列以巴西葡萄牙语为中心的嵌入模型优化工作与跨语言迁移学习研究。例如，排行榜中排名前列的Gemini-Embedding-001、Qwen3-Embedding-8B等模型均是针对该基准任务进行针对性微调或架构创新的成果。此外，基于该基准的任务剪枝方法与Spearman秩相关分析，启发了学界对多任务评测中噪声识别与信号增强的深入探索，推动了如低资源语言评测基准构建策略、任务间相关性建模等后续研究工作，形成了围绕MTEB(por)的良性学术生态。