nlpso/m1_fine_tuning_ocr_ptrn_cmbert_iob2
收藏Hugging Face2023-02-22 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/nlpso/m1_fine_tuning_ocr_ptrn_cmbert_iob2
下载链接
链接失效反馈官方服务：
资源简介：
该数据集用于微调[HueyNemud/das22-10-camembert_pretrained]模型，以进行嵌套命名实体识别（nested NER）任务，采用独立NER层的方法[M1]。数据集包含19世纪巴黎的贸易目录条目。数据集类型为噪声数据（Pero OCR），标记格式为IOB2，数据划分为训练集6084条，开发集676条，测试集1685条。相关的微调模型包括Level-1和Level-2。数据集中包含的实体类型包括人名或公司名、职业活动、军事或民事头衔、条目描述、专业奖励、地址、街道名称、街道号码和地理特征等。
该数据集用于微调[HueyNemud/das22-10-camembert_pretrained]模型，以进行嵌套命名实体识别（nested NER）任务，采用独立NER层的方法[M1]。数据集包含19世纪巴黎的贸易目录条目。数据集类型为噪声数据（Pero OCR），标记格式为IOB2，数据划分为训练集6084条，开发集676条，测试集1685条。相关的微调模型包括Level-1和Level-2。数据集中包含的实体类型包括人名或公司名、职业活动、军事或民事头衔、条目描述、专业奖励、地址、街道名称、街道号码和地理特征等。
提供机构：
nlpso
原始信息汇总
数据集概述
数据集名称
m1_fine_tuning_ocr_ptrn_cmbert_iob2
数据集描述
该数据集用于微调模型HueyNemud/das22-10-camembert_pretrained，以进行嵌套命名实体识别任务，采用独立NER层方法[M1]。数据集包含19世纪巴黎贸易目录条目。
数据集参数
- 方法：M1
- 数据集类型：噪声数据（Pero OCR）
- 分词器：HueyNemud/das22-10-camembert_pretrained
- 标记格式：IOB2
- 数据集大小：
- 训练集：6084
- 开发集：676
- 测试集：1685
- 关联的微调模型：
实体类型
| 缩写 | 实体组（级别） | 描述 |
|---|---|---|
| O | 1 & 2 | 非实体部分 |
| PER | 1 | 个人或公司名称 |
| ACT | 1 & 2 | 个人或公司职业活动 |
| TITREH | 2 | 军事或民事区别 |
| DESC | 1 | 条目全描述 |
| TITREP | 2 | 职业奖励 |
| SPAT | 1 | 地址 |
| LOC | 2 | 街道名称 |
| CARDINAL | 2 | 街道号码 |
| FT | 2 | 地理特征 |
数据集使用方法
python from datasets import load_dataset
train_dev_test = load_dataset("nlpso/m1_fine_tuning_ocr_ptrn_cmbert_iob2")
