pierreguillou/lener_br_finetuning_language_model
收藏资源简介：
LeNER-Br语言建模数据集是一个包含葡萄牙语法律文本的集合，源自LeNER-Br数据集。这些法律文本经过处理，创建了一个包含训练集和验证集（20%）的`DatasetDict`。该数据集允许微调BERTimbau等语言模型。数据集的语言为巴西葡萄牙语。
The LeNER-Br Language Modeling Dataset is a collection of Brazilian Portuguese legal texts derived from the original LeNER-Br dataset. These legal texts have been processed to create a `DatasetDict` that includes a training set and a validation set, with the validation set accounting for 20% of the total dataset. This dataset enables fine-tuning of language models such as BERTimbau. The language of this dataset is Brazilian Portuguese.
数据集概述
数据集名称
LeNER-Br语言建模
数据集描述
LeNER-Br语言建模数据集是一个包含葡萄牙语法律文本的集合，源自LeNER-Br数据集。该数据集用于微调语言模型，如BERTimbau的base和large版本。
语言
葡萄牙语（巴西）
数据集结构
- 训练集：包含15252行数据，特征为text。
- 验证集：包含3813行数据，特征为text。
使用方法
python !pip install datasets from datasets import load_dataset
dataset = load_dataset("pierreguillou/lener_br_finetuning_language_model")
