eduagarcia/portuguese_benchmark

Name: eduagarcia/portuguese_benchmark
Creator: eduagarcia
Published: 2024-04-30 02:43:32
License: 暂无描述

Hugging Face2024-04-30 更新2024-03-04 收录

下载链接：

https://hf-mirror.com/datasets/eduagarcia/portuguese_benchmark

下载链接

链接失效反馈

官方服务：

资源简介：

Portuguese Benchmark是一个包含10个子数据集的集合，旨在训练和评估监督语言模型，如BERT、RoBERTa等。这些数据集涵盖了分类（CLS）、自然语言推理（NLI）、语义相似性评分（STS）和命名实体识别（NER）等18个任务。每个子数据集都有详细的配置信息，包括特征、标签、数据分割（训练集、验证集、测试集）以及数据集的大小和下载大小。

提供机构：

eduagarcia

原始信息汇总

数据集概述

1. HateBR_offensive_binary

配置名称: HateBR_offensive_binary
特征:
- idx: int32
- sentence: string
- label:
  - 0: non-offensive
  - 1: offensive
分割:
- train: 4480 examples, 416208 bytes
- validation: 1120 examples, 94237 bytes
- test: 1400 examples, 116658 bytes
下载大小: 411947 bytes
数据集大小: 627103 bytes

2. HateBR_offensive_level

配置名称: HateBR_offensive_level
特征:
- idx: int32
- sentence: string
- label:
  - 0: non-offensive
  - 1: slightly
  - 2: moderately
  - 3: highly
分割:
- train: 4480 examples, 416208 bytes
- validation: 1120 examples, 94237 bytes
- test: 1400 examples, 116658 bytes
下载大小: 413064 bytes
数据集大小: 627103 bytes

3. LeNER-Br

配置名称: LeNER-Br
特征:
- idx: int32
- tokens: sequence of string
- ner_tags: sequence of
  - 0: O
  - 1: B-ORGANIZACAO
  - 2: I-ORGANIZACAO
  - 3: B-PESSOA
  - 4: I-PESSOA
  - 5: B-TEMPO
  - 6: I-TEMPO
  - 7: B-LOCAL
  - 8: I-LOCAL
  - 9: B-LEGISLACAO
  - 10: I-LEGISLACAO
  - 11: B-JURISPRUDENCIA
  - 12: I-JURISPRUDENCIA
分割:
- train: 7825 examples, 3953896 bytes
- validation: 1177 examples, 715819 bytes
- test: 1390 examples, 819242 bytes
下载大小: 1049906 bytes
数据集大小: 5488957 bytes

4. Portuguese_Hate_Speech_binary

配置名称: Portuguese_Hate_Speech_binary
特征:
- idx: int32
- sentence: string
- label:
  - 0: no-hate
  - 1: hate
分割:
- train: 3969 examples, 473248 bytes
- validation: 850 examples, 101358 bytes
- test: 851 examples, 101242 bytes
下载大小: 482467 bytes
数据集大小: 675848 bytes

5. UlyssesNER-Br-C-coarse

配置名称: UlyssesNER-Br-C-coarse
特征:
- idx: int32
- tokens: sequence of string
- ner_tags: sequence of
  - 0: O
  - 1: B-DATA
  - 2: I-DATA
  - 3: B-EVENTO
  - 4: I-EVENTO
  - 5: B-FUNDAMENTO
  - 6: I-FUNDAMENTO
  - 7: B-LOCAL
  - 8: I-LOCAL
  - 9: B-ORGANIZACAO
  - 10: I-ORGANIZACAO
  - 11: B-PESSOA
  - 12: I-PESSOA
  - 13: B-PRODUTODELEI
  - 14: I-PRODUTODELEI
分割:
- train: 679 examples, 1051410 bytes
- validation: 146 examples, 225883 bytes
- test: 147 examples, 226764 bytes
下载大小: 301821 bytes
数据集大小: 1504057 bytes

6. UlyssesNER-Br-C-fine

配置名称: UlyssesNER-Br-C-fine
特征:
- idx: int32
- tokens: sequence of string
- ner_tags: sequence of
  - 0: O
  - 1: B-DATA
  - 2: I-DATA
  - 3: B-EVENTO
  - 4: I-EVENTO
  - 5: B-FUNDapelido
  - 6: I-FUNDapelido
  - 7: B-FUNDlei
  - 8: I-FUNDlei
  - 9: B-FUNDprojetodelei
  - 10: I-FUNDprojetodelei
  - 11: B-LOCALconcreto
  - 12: I-LOCALconcreto
  - 13: B-LOCALvirtual
  - 14: I-LOCALvirtual
  - 15: B-ORGgovernamental
  - 16: I-ORGgovernamental
  - 17: B-ORGnaogovernamental
  - 18: I-ORGnaogovernamental
  - 19: B-ORGpartido
  - 20: I-ORGpartido
  - 21: B-PESSOAcargo
  - 22: I-PESSOAcargo
  - 23: B-PESSOAgrupocargo
  - 24: I-PESSOAgrupocargo
  - 25: B-PESSOAgrupoind
  - 26: I-PESSOAgrupoind
  - 27: B-PESSOAindividual
  - 28: I-PESSOAindividual
  - 29: B-PRODUTOoutros
  - 30: I-PRODUTOoutros
  - 31: B-PRODUTOprograma
  - 32: I-PRODUTOprograma
  - 33: B-PRODUTOsistema
  - 34: I-PRODUTOsistema
分割:
- train: 679 examples, 1051410 bytes
- validation: 146 examples, 225883 bytes
- test: 147 examples, 226764 bytes
下载大小: 305985 bytes
数据集大小: 1504057 bytes

7. UlyssesNER-Br-PL-coarse

配置名称: UlyssesNER-Br-PL-coarse
特征:
- idx: int32
- tokens: sequence of string
- ner_tags: sequence of
  - 0: O
  - 1: B-DATA
  - 2: I-DATA
  - 3: B-EVENTO
  - 4: I-EVENTO
  - 5: B-FUNDAMENTO
  - 6: I-FUNDAMENTO
  - 7: B-LOCAL
  - 8: I-LOCAL
  - 9: B-ORGANIZACAO
  - 10: I-ORGANIZACAO
  - 11: B-PESSOA
  - 12: I-PESSOA
  - 13: B-PRODUTODELEI
  - 14: I-PRODUTODELEI
分割:
- train: 2271 examples, 1511905 bytes
- validation: 489 examples, 305472 bytes
- test: 524 examples, 363207 bytes
下载大小: 431964 bytes
数据集大小: 2180584 bytes

8. UlyssesNER-Br-PL-fine

配置名称: UlyssesNER-Br-PL-fine
特征:
- idx: int32
- tokens: sequence of string
- ner_tags: sequence of
  - 0: O
  - 1: B-DATA
  - 2: I-DATA
  - 3: B-EVENTO
  - 4: I-EVENTO
  - 5: B-FUNDapelido
  - 6: I-FUNDapelido
  - 7: B-FUNDlei
  - 8: I-FUNDlei
  - 9: B-FUNDprojetodelei
  - 10: I-FUNDprojetodelei
  - 11: B-LOCALconcreto
  - 12: I-LOCALconcreto
  - 13: B-LOCALvirtual
  - 14: I-LOCALvirtual
  - 15: B-ORGgovernamental
  - 16: I-ORGgovernamental
  - 17: B-ORGnaogovernamental
  - 18: I-ORGnaogovernamental
  - 19: B-ORGpartido
  - 20: I-ORGpartido
  - 21: B-PESSOAcargo
  - 22: I-PESSOAcargo
  - 23: B-PESSOAgrupocargo
  - 24: I-PESSOAgrupocargo
  - 25: B-PESSOAindividual
  - 26: I-PESSOAindividual
  - 27: B-PRODUTOoutros
  - 28: I-PRODUTOoutros
  - 29: B-PRODUTOprograma
  - 30: I-PRODUTOprograma
  - 31: B-PRODUTOsistema
  - 32: I-PRODUTOsistema
分割:
- train: 2271 examples, 1511905 bytes
- validation: 489 examples, 305472 bytes
- test: 524 examples, 363207 bytes
下载大小: 437232 bytes
数据集大小: 2180584 bytes

9. assin2-rte

配置名称: assin2-rte
特征:
- idx: int32
- sentence1: string
- sentence2: string
- label:
  - 0: NONE
  - 1: ENTAILMENT
分割:
- train: 6500 examples, 811995 bytes
- validation: 500 examples, 62824 bytes
- test: 2448 examples, 319682 bytes
下载大小: 551190 bytes
数据集大小: 1194501 bytes

10. assin2-sts

配置名称: assin2-sts
特征:
- idx: int32
- sentence1: string
- sentence2: string
- label: float32
分割:
- train: 6500 examples, 785995 bytes
- validation: 500 examples, 60824 bytes
- test: 2448 examples, 309890 bytes
下载大小: 560263 bytes
数据集大小: 1156709 bytes

11. brazilian_court_decisions_judgment

配置名称: brazilian_court_decisions_judgment
特征:
- idx: int32
- sentence: string
- label:
  - 0: no
  - 1: partial
  - 2: yes
分割:
- train: 3234 examples, 2779679 bytes
- validation: 404 examples, 351504 bytes
- test: 405 examples, 346499 bytes
下载大小: 1956183 bytes
数据集大小: 3477682 bytes

12. brazilian_court_decisions_unanimity

配置名称: brazilian_court_decisions_unanimity
特征:
- idx: int32
- sentence: string
- label:
  - 0: unanimity
  - 1: not-unanimity
分割:
- train: 1715 examples, 1564695 bytes
- validation: 211 examples, 197865 bytes
- test: 204 examples, 193928 bytes
下载大小: 1069780 bytes
数据集大小: 1956488 bytes

13. harem-default

配置名称: harem-default
特征:
- idx: int32
- tokens: sequence of string
- ner_tags: sequence of
  - 0: O
  - 1: B-PESSOA
  - 2: I-PESSOA
  - 3: B-ORGANIZACAO
  - 4: I-ORGANIZACAO
  - 5: B-LOCAL
  - 6: I-LOCAL
  - 7: B-TEMPO
  - 8: I-TEMPO
  - 9: B-VALOR
  - 10: I-VALOR
  - 11: B-ABSTRACCAO
  - 12: I-ABSTRACCAO
  - 13: B-ACONTECIMENTO
  - 14: I-ACONTECIMENTO
  - 15: B-COISA
  - 16: I-COISA
  - 17: B-OBRA
  - 18: I-OBRA
  - 19: B-OUTRO
  - 20: I-OUTRO
分割:
- train: 121 examples, 1504542 bytes
- validation: 8 examples, 51182 bytes
- test: 128 examples, 1060778 bytes
下载大小: 540547 bytes
数据集大小: 2616502 bytes

14. harem-selective

配置名称: harem-selective
特征:
- idx: int32
- tokens: sequence of string
- ner_tags: sequence of
  - 0: O
  - 1: B-PESSOA
  - 2: I-PESSOA
  - 3: B-ORGANIZACAO
  - 4: I-ORGANIZACAO
  - 5: B-LOCAL
  - 6: I-LOCAL
  - 7: B-TEMPO
  - 8: I-TEMPO
  - 9: B-VALOR
  - 10: I-VALOR
分割:
- train: 121 examples, 1504542 bytes
- validation: 8 examples, 51182 bytes
- test: 128 examples, 1060778 bytes
下载大小: 531807 bytes
数据集大小: 2616502 bytes

15. mapa_pt_coarse

配置名称: mapa_pt_coarse
特征:
- idx: int32
- tokens: sequence of string
- ner_tags: sequence of
  - 0: O
  - 1: B-ADDRESS
  - 2: I-ADDRESS
  - 3: B-AMOUNT
  - 4: I-AMOUNT
  - 5: B-DATE
  - 6: I-DATE
  - 7: B-ORGANISATION
  - 8: I-ORGANISATION
  - 9: B-PERSON
  - 10: I-PERSON
  - 11: B-TIME
  - 12:

搜集汇总

数据集介绍

构建方式

Portuguese Benchmark 数据集是一个专为葡萄牙语自然语言处理任务设计的综合性基准集合，其构建方式体现了对多任务、多领域语料的系统整合。该基准汇集了10个公开可用的葡萄牙语数据集，并从中衍生出18个子任务，涵盖文本分类、命名实体识别、自然语言推理及语义相似度计算四大核心场景。每个子数据集均基于原始出版物的标准划分策略，被分割为训练集、验证集和测试集，以支持有监督模型的公平评估。例如，HateBR 数据集针对网络仇恨言论检测提供了二分类与多级攻击强度分类两种配置，而 UlyssesNER-Br 则聚焦于巴西立法文本的命名实体识别，并提供了粗粒度与细粒度两种标签体系。这种多源异构数据的融合，使得该基准能够全面反映葡萄牙语在不同文本类型与任务复杂度下的语言现象。

特点

该数据集最显著的特点在于其任务多样性与标签体系的层次化设计。在命名实体识别方面，LeNER-Br 与 harem 系列数据集覆盖了法律、新闻、通用文本等领域的实体标注，而 mapa_pt 则提供了从粗粒度（如地址、金额）到细粒度（如年龄、建筑、国籍）的渐进式标签结构，满足从基础模型训练到细粒度信息抽取的多层次需求。在文本分类任务中，brazilian_court_decisions 数据集引入了司法判决预测的独特视角，包含判决倾向与合议一致性两种分类目标；multi_eurlex_pt 则专注于欧盟法律条款的多标签分类，涉及21个类别。此外，assin2 系列提供了蕴含关系判断与语义相似度评分两个互补任务，其中 STS 任务采用浮点数标签以捕捉语义距离的连续变化。这种跨任务、跨领域、跨粒度的组合设计，使该基准成为葡萄牙语自然语言理解研究的标准化测试平台。

使用方法

使用该数据集时，研究人员可通过 Hugging Face Datasets 库直接加载，并依据任务需求选择特定配置名称。例如，加载仇恨言论二分类任务可调用 `load_dataset('eduagarcia/portuguese_benchmark', 'HateBR_offensive_binary')`，而命名实体识别任务则需指定如 `LeNER-Br` 或 `UlyssesNER-Br-PL-coarse` 等配置。每个配置均预定义了特征字段与标签映射：分类任务包含 `sentence` 与 `label` 字段，NER 任务则提供 `tokens` 与 `ner_tags` 序列。数据划分已按官方标准完成，用户可直接使用 `train`、`validation`、`test` 三个子集进行模型训练与评估。对于语义相似度任务 `assin2-sts`，其标签为浮点型数值，适合回归或相似度排序场景。该基准的标准化接口与详尽配置，大幅降低了葡萄牙语多任务学习的实验门槛。

背景与挑战

背景概述

葡萄牙语作为全球使用人数众多的语言之一，在自然语言处理领域长期面临资源匮乏的困境，尤其缺乏覆盖多任务的高质量标注数据集。为填补这一空白，由多位研究者共同构建的Portuguese Benchmark数据集应运而生，其核心研究问题在于为葡萄牙语提供统一的监督学习评估基准，涵盖文本分类、命名实体识别、自然语言推理与语义相似度计算等关键任务。该数据集整合了来自HateBR、LeNER-Br、assin2等十个子集的十八项任务，横跨法律、社交媒体、新闻等多个领域，显著推动了葡萄牙语预训练语言模型（如BERT、RoBERTa）的标准化评测。自发布以来，它已成为葡萄牙语NLP研究的重要参照，有效促进了该语言在情感分析、仇恨言论检测、法律文本理解等方向的发展。

当前挑战

Portuguese Benchmark所面临的挑战首先体现在领域任务的多样性上：数据集需同时应对仇恨言论检测中的细粒度攻击性分级、法律文本中多层级命名实体识别、以及跨句子语义关系推断等复杂问题，这对模型的多任务泛化能力提出极高要求。其次，构建过程中遭遇了显著的数据异质性难题，各子集来源不一，例如HateBR源自社交媒体评论，而LeNER-Br与UlyssesNER-Br则聚焦法律文本，导致标注体系、实体类别粒度（如粗粒度与细粒度NER标签）及数据规模差异悬殊，需要精心设计统一格式以保持兼容性。此外，部分子集如multi_eurlex_pt的样本量极小，进一步加剧了低资源场景下的模型训练与评估挑战。

常用场景

经典使用场景

Portuguese Benchmark汇聚了涵盖命名实体识别、文本分类、自然语言推理与语义相似度计算四大经典任务的十八个子数据集，为葡语自然语言处理研究提供了标准化的评测基准。该基准尤其适用于预训练语言模型的微调与评估，研究者可基于BERT、RoBERTa等架构，在HateBR、assin2、LeNER-Br等子集上系统检验模型在葡语语境下的泛化能力与鲁棒性，从而推动葡语NLP领域向更深层次发展。

衍生相关工作

Portuguese Benchmark的发布催生了一系列葡语NLP领域的标志性工作。研究者基于该基准提出了专为葡语优化的预训练模型，如BERTimbau、Albertina PT-*等，并在其子任务上取得了显著提升。此外，针对HateBR的仇恨言论检测任务，衍生出多粒度情感分析框架与跨领域迁移学习方法；而UlyssesNER-Br则激发了针对法律文本的细粒度实体识别研究，推动了法律人工智能在葡语国家的落地应用，形成了从数据到模型再到应用的完整研究链条。

数据集最近研究