nlpso/m1_qualitative_analysis_ocr_cmbert_io

该数据集用于对[Jean-Baptiste/camembert-ner](https://huggingface.co/Jean-Baptiste/camembert-ner)模型在嵌套NER任务上进行定性分析，使用的是独立NER层的方法[M1]。数据集包含19世纪巴黎的贸易目录条目。数据集参数包括方法（M1）、类型（noisy，Pero OCR）、使用的分词器（[Jean-Baptiste/camembert-ner](https://huggingface.co/Jean-Baptiste/camembert-ner)）、标记格式（IO）、数据量（Train: 6084, Dev: 676, Test: 1685）以及相关的微调模型（Level-1: [nlpso/m1_ind_layers_ocr_cmbert_io_level_1](https://huggingface.co/nlpso/m1_ind_layers_ocr_cmbert_io_level_1), Level 2: [nlpso/m1_ind_layers_ocr_cmbert_io_level_2](https://huggingface.co/nlpso/m1_ind_layers_ocr_cmbert_io_level_2)）。实体类型包括O（Outside of a named entity）、PER（Person or company name）、ACT（Person or company professional activity）、TITREH（Military or civil distinction）、DESC（Entry full description）、TITREP（Professionnal reward）、SPAT（Address）、LOC（Street name）、CARDINAL（Street number）、FT（Geographical feature）。

本数据集用于对[Jean-Baptiste/camembert-ner](https://huggingface.co/Jean-Baptiste/camembert-ner)模型开展嵌套命名实体识别（Named Entity Recognition，NER）任务的定性分析，所采用的方法为独立NER层方法[M1]。
数据集涵盖19世纪巴黎的贸易目录条目。其配置参数包括：所用方法（M1）、数据类型（含噪声（noisy）、Pero光学字符识别（Pero OCR）两类）、所使用的分词器（Tokenizer）[Jean-Baptiste/camembert-ner](https://huggingface.co/Jean-Baptiste/camembert-ner)、标记格式（IO格式）、数据规模（训练集6084条、开发集676条、测试集1685条）以及配套微调模型：一级模型（Level-1）为[nlpso/m1_ind_layers_ocr_cmbert_io_level_1](https://huggingface.co/nlpso/m1_ind_layers_ocr_cmbert_io_level_1)，二级模型（Level 2）为[nlpso/m1_ind_layers_ocr_cmbert_io_level_2](https://huggingface.co/nlpso/m1_ind_layers_ocr_cmbert_io_level_2)。
所涵盖的实体类型包括：O（非命名实体外（Outside of a named entity））、PER（人物或企业名称（Person or company name））、ACT（人物或企业的职业活动（Person or company professional activity））、TITREH（军事或民事荣誉称号（Military or civil distinction））、DESC（条目完整描述（Entry full description））、TITREP（职业奖励（Professionnal reward））、SPAT（地址（Address））、LOC（街道名称（Street name））、CARDINAL（街道门牌号（Street number））、FT（地理特征（Geographical feature））。

原始信息汇总

数据集概述

数据集名称

m1_qualitative_analysis_ocr_cmbert_io

数据集描述

本数据集用于对Jean-Baptiste/camembert-ner进行嵌套命名实体识别任务的定性分析，采用独立NER层方法[M1]。数据集包含19世纪巴黎贸易目录的条目。

数据集参数

• 方法：M1
• 数据集类型：噪声数据（Pero OCR）
• 分词器：Jean-Baptiste/camembert-ner
• 标记格式：IO
• 数据集大小：
  • 训练集：6084
  • 验证集：676
  • 测试集：1685
• 相关微调模型：
  • 第一级：nlpso/m1_ind_layers_ocr_cmbert_io_level_1
  • 第二级：nlpso/m1_ind_layers_ocr_cmbert_io_level_2

实体类型

缩写	实体组（级别）	描述
O	1 & 2	非命名实体
PER	1	人名或公司名
ACT	1 & 2	人或公司的职业活动
TITREH	2	军事或民事区别
DESC	1	条目完整描述
TITREP	2	职业奖励
SPAT	1	地址
LOC	2	街道名称
CARDINAL	2	街道号码
FT	2	地理特征

如何使用数据集

python from datasets import load_dataset

train_dev_test = load_dataset("nlpso/m1_qualitative_analysis_ocr_cmbert_io")