nlpso/m1_fine_tuning_ref_ptrn_cmbert_iob2

该数据集用于微调一个预训练的Camembert模型，以完成嵌套命名实体识别（nested NER）任务，采用了独立的NER层方法（M1）。数据集包含19世纪巴黎的贸易目录条目。数据集参数包括使用的tokenizer、标记格式（IOB2）、以及训练、开发和测试集的数量。实体类型包括人名或公司名（PER）、职业活动（ACT）、军事或民事头衔（TITREH）、条目完整描述（DESC）、专业奖励（TITREP）、地址（SPAT）、街道名称（LOC）、街道号码（CARDINAL）和地理特征（FT）。

原始信息汇总

数据集概述

基本信息

• 名称：m1_fine_tuning_ref_ptrn_cmbert_iob2
• 语言：法语（fr）
• 多语言性：单语
• 任务类别：Token-Classification

数据集描述

• 用途：用于微调模型HueyNemud/das22-10-camembert_pretrained，以进行嵌套命名实体识别任务。
• 数据来源：包含19世纪巴黎贸易目录条目。

数据集参数

• 方法：M1
• 数据类型：ground-truth
• 分词器：HueyNemud/das22-10-camembert_pretrained
• 标记格式：IOB2
• 数据集大小：
  • 训练集：6084
  • 验证集：676
  • 测试集：1685
• 关联的微调模型：
  • 第一级：nlpso/m1_ind_layers_ref_ptrn_cmbert_iob2_level_1
  • 第二级：nlpso/m1_ind_layers_ref_ptrn_cmbert_iob2_level_2

实体类型

• O：非实体
• PER：个人或公司名称
• ACT：个人或公司职业活动
• TITREH：军事或民事区分
• DESC：条目全描述
• TITREP：职业奖励
• SPAT：地址
• LOC：街道名称
• CARDINAL：街道号码
• FT：地理特征

使用方法

python from datasets import load_dataset

train_dev_test = load_dataset("nlpso/m1_fine_tuning_ref_ptrn_cmbert_iob2")