mteb-pt-results
收藏资源简介：
MTEB(por, v2) 是一个针对巴西葡萄牙语文本嵌入模型的基准测试结果数据集。该数据集存储了93个不同模型在22个原生巴西葡萄牙语任务上的评估结果，这些任务包括检索（6个任务）、重排序（3个任务）、聚类（5个任务）、语义文本相似性（2个任务）、对分类（2个任务）、分类（3个任务）和多标签分类（1个任务），涵盖了从MedPTRetrieval、FaQuADIR、Quati等检索任务到AssinSTS、Assin2STS等语义相似性任务，以及HateBR、ToxSynPT等分类任务。所有评估均使用mteb工具在固定版本的数据集上进行，专注于评估模型对原生葡萄牙语文本的理解和表示能力，不包含任何机器翻译任务。数据集通过严格的筛选过程从原始27个任务池中curated而来，剔除了5个低信噪比任务，确保最终22个任务能够有效区分不同模型的性能。数据以JSON格式存储，每个模型在每个任务上的评估结果独立保存，适用于文本嵌入模型的性能比较、基准测试研究以及葡萄牙语自然语言处理模型的评估。
MTEB(por, v2) is a benchmark results dataset for Brazilian Portuguese text embedding models. It stores evaluation results of 93 different models on 22 native Brazilian Portuguese tasks, including retrieval (6 tasks), reranking (3 tasks), clustering (5 tasks), semantic textual similarity (2 tasks), pair classification (2 tasks), classification (3 tasks), and multilabel classification (1 task). These tasks cover retrieval tasks such as MedPTRetrieval, FaQuADIR, and Quati, semantic similarity tasks like AssinSTS and Assin2STS, and classification tasks like HateBR and ToxSynPT. All evaluations are conducted using the mteb tool on fixed versions of datasets, focusing on assessing models understanding and representation capabilities for native Portuguese text, with no machine translation tasks included. The dataset is curated from an original pool of 27 tasks through a strict filtering process that removed 5 low signal-to-noise ratio tasks, ensuring the final 22 tasks effectively differentiate model performance. Data is stored in JSON format, with independent evaluation results for each model on each task, suitable for performance comparison of text embedding models, benchmark research, and evaluation of Portuguese natural language processing models.
MTEB(por, v2) — 基准测试结果数据集
数据集概述
该数据集是 MTEB(por, v2) 基准测试的规范结果存储库，一个原生的 巴西葡萄牙语 文本嵌入基准测试。包含 93 个模型 × 22 个原生葡萄牙语任务（无机器翻译任务）。每个模型均使用 mteb 在固定版本的（pinned-SHA）数据集上进行评估。
模型涵盖：开放权重模型、封闭/API 模型，以及一个 mteb-pt/baseline-random-encoder 随机基准下限（平均分 22 = 0.1816）。
- 语言: 葡萄牙语 (pt)
- 许可协议: MIT
- 数据集大小: 1K < n < 10K
- 标签: mteb, sentence-transformers, benchmark, portuguese, brazilian-portuguese, embeddings
排行榜（前10名，按 mean_22 排序）
| 排名 | 模型 | mean_22 |
|---|---|---|
| 1 | google/gemini-embedding-001 | 0.6820 |
| 2 | Qwen/Qwen3-Embedding-8B | 0.6704 |
| 3 | tencent/KaLM-Embedding-Gemma3-12B-2511 | 0.6701 |
| 4 | voyage/voyage-context-4 | 0.6676 |
| 5 | Octen/Octen-Embedding-8B | 0.6674 |
| 6 | Qwen/Qwen3-Embedding-4B | 0.6621 |
| 7 | voyage/voyage-context-3 | 0.6571 |
| 8 | voyage/voyage-3-large | 0.6552 |
| 9 | voyage/voyage-4-large | 0.6532 |
| 10 | Salesforce/SFR-Embedding-Mistral | 0.6523 |
完整 94 个模型的评分矩阵见：SCORE_MATRIX_FINAL_22.md
仓库结构
results/<模型slug>/<修订版本>/<任务名称>.json # 每个 (模型, 任务) 对应一个 mteb ScoresDict
模型slug 为 Hugging Face ID，其中 / 替换为 __。每个分片下的 main_score 位于 scores 下。
22个任务（按类别分组）
| 任务类别 | 任务列表 |
|---|---|
| 检索（6个） | MedPTRetrieval, FaQuADIR, Quati, FaqBacenRetrieval, JurisTCU, BRTaxQAR |
| 重排序（3个） | QuatiReranking, JurisTCUReranking, PortuLexRRIP |
| 聚类（5个） | MedPTClustering, WikipediaPTCategoriesClusteringP2P, JurisTCUClusteringP2P, SciELOClusteringP2P, StackoverflowPtClustering |
| 语义文本相似度 STS（2个） | AssinSTS, Assin2STS |
| 对分类（2个） | AssinRTE, InferBR |
| 分类（3个） | HateBR, ToxSynPT, FactckBrClassification |
| 多标签分类（1个） | BrighterEmotionMultilabelClassification |
注意：Quati 使用 5 万段落子样本（修订版本 5cb87d9）。
任务筛选（27 → 22）
通过鉴别力/共同度分析（任务间 Spearman 相关、留一法共识、随机基线下限、分数离散度、排名异常、双因子分析），从最初的 27 个任务池中剔除了 5 个低信号任务：
- EnemEssayRegression, NarrativeEssaysBRRegression, BrighterEmotionIntensityRegression —— 三个连续回归任务因子共同度最低（<0.08）；两个作文任务彼此甚至不相关 → 嵌入无法可靠捕捉目标。
- CamaraProposicoesClustering —— 辨别力最低（标准差 0.032；模型几乎无法区分）。
- OlidBrMultilabelClassification —— 最佳模型仅比随机基线下限高 0.088。
Spearman(mean_27, mean_22) = 0.99（全局排名稳定；剪枝去除了噪音，保留了信号）。详见 docs/task_pruning_decision_2026-06-29.md。
引用
bibtex @misc{mtebpt2026, title = {MTEB(por): a Brazilian Portuguese sub-benchmark for MTEB}, author = {Stekel, Tardelli and contributors}, year = {2026}, howpublished = {url{https://github.com/tardellirs/huggingface-mteb-pt}} }
