pythainlp/thainer-corpus-v2

---
dataset_info:
features:
- name: words
sequence: string
- name: ner
sequence:
class_label:
names:
'0': B-PERSON
'1': I-PERSON
'2': O
'3': B-ORGANIZATION
'4': B-LOCATION
'5': I-ORGANIZATION
'6': I-LOCATION
'7': B-DATE
'8': I-DATE
'9': B-TIME
'10': I-TIME
'11': B-MONEY
'12': I-MONEY
'13': B-FACILITY
'14': I-FACILITY
'15': B-URL
'16': I-URL
'17': B-PERCENT
'18': I-PERCENT
'19': B-LEN
'20': I-LEN
'21': B-AGO
'22': I-AGO
'23': B-LAW
'24': I-LAW
'25': B-PHONE
'26': I-PHONE
'27': B-EMAIL
'28': I-EMAIL
'29': B-ZIP
'30': B-TEMPERATURE
'31': I-TEMPERATURE
'32': B-DTAE
'33': I-DTAE
'34': B-DATA
'35': I-DATA
splits:
- name: train
num_bytes: 3736419
num_examples: 3938
- name: validation
num_bytes: 1214580
num_examples: 1313
- name: test
num_bytes: 1242609
num_examples: 1313
download_size: 974230
dataset_size: 6193608
license: cc-by-3.0
task_categories:
- token-classification
language:
- th
---
# Dataset Card for "thainer-corpus-v2"

## News!!!
> Thai NER v2.2 is released! Please use Thai NER 2.2 instead This corpus.
> Thai NER v2.2: [https://huggingface.co/datasets/pythainlp/thainer-corpus-v2.2](https://huggingface.co/datasets/pythainlp/thainer-corpus-v2.2)

Thai Named Entity Recognition Corpus

Home Page: [https://pythainlp.github.io/Thai-NER/version/2](https://pythainlp.github.io/Thai-NER/version/2)

Training script and split data: [https://zenodo.org/record/7761354](https://zenodo.org/record/7761354)

**You can download .conll to train named entity model in [https://zenodo.org/record/7761354](https://zenodo.org/record/7761354).**

**Size**

- Train: 3,938 docs
- Validation: 1,313 docs
- Test: 1,313 Docs

Some data come from crowdsourcing between Dec 2018 - Nov 2019. [https://github.com/wannaphong/thai-ner](https://github.com/wannaphong/thai-ner)

**Domain**
- News (It, politics, economy, social)
- PR (KKU news)
- general

**Source**
- I use sone data from Nutcha’s theses (http://pioneer.chula.ac.th/~awirote/Data-Nutcha.zip) and improve data by rechecking and adding more tagging.
- Twitter
- Blognone.com - It news
- thaigov.go.th
- kku.ac.th

And more (the lists are lost.)

**Tag**

- DATA - date
- TIME - time
- EMAIL - email
- LEN - length
- LOCATION - Location
- ORGANIZATION - Company / Organization
- PERSON - Person name
- PHONE - phone number
- TEMPERATURE - temperature
- URL - URL
- ZIP - Zip code
- MONEY - the amount
- LAW - legislation
- PERCENT - PERCENT

Download: [HuggingFace Hub](https://huggingface.co/datasets/pythainlp/thainer-corpus-v2)

## Cite

> Wannaphong Phatthiyaphaibun. (2022). Thai NER 2.0 (2.0) [Data set]. Zenodo. https://doi.org/10.5281/zenodo.7761354

or BibTeX

```
@dataset{wannaphong_phatthiyaphaibun_2022_7761354,
author = {Wannaphong Phatthiyaphaibun},
title = {Thai NER 2.0},
month = sep,
year = 2022,
publisher = {Zenodo},
version = {2.0},
doi = {10.5281/zenodo.7761354},
url = {https://doi.org/10.5281/zenodo.7761354}
}
```

dataset_info:
数据集信息:
特征:
- 名称: words
类型: 字符串序列
- 名称: ner
类型: 序列
类别标签:
标签映射:
'0': B-人物（B-PERSON）
'1': I-人物（I-PERSON）
'2': O（其他）
'3': B-组织机构（B-ORGANIZATION）
'4': B-地点（B-LOCATION）
'5': I-组织机构（I-ORGANIZATION）
'6': I-地点（I-LOCATION）
'7': B-日期（B-DATE）
'8': I-日期（I-DATE）
'9': B-时刻（B-TIME）
'10': I-时刻（I-TIME）
'11': B-金额（B-MONEY）
'12': I-金额（I-MONEY）
'13': B-设施（B-FACILITY）
'14': I-设施（I-FACILITY）
'15': B-统一资源定位符（B-URL）
'16': I-统一资源定位符（I-URL）
'17': B-百分比（B-PERCENT）
'18': I-百分比（I-PERCENT）
'19': B-长度（B-LEN）
'20': I-长度（I-LEN）
'21': B-时长（B-AGO，原文标注）
'22': I-时长（I-AGO，原文标注）
'23': B-法律法规（B-LAW）
'24': I-法律法规（I-LAW）
'25': B-电话号码（B-PHONE）
'26': I-电话号码（I-PHONE）
'27': B-电子邮箱（B-EMAIL）
'28': I-电子邮箱（I-EMAIL）
'29': B-邮政编码（B-ZIP）
'30': B-温度（B-TEMPERATURE）
'31': I-温度（I-TEMPERATURE）
'32': B-日期（B-DTAE，原文笔误，应为DATE）
'33': I-日期（I-DTAE，原文笔误，应为DATE）
'34': B-数据（B-DATA）
'35': I-数据（I-DATA）
拆分集:
- 名称: 训练集（train）
字节大小: 3736419
样本数量: 3938
- 名称: 验证集（validation）
字节大小: 1214580
样本数量: 1313
- 名称: 测试集（test）
字节大小: 1242609
样本数量: 1313
下载大小: 974230
数据集总大小: 6193608
许可证: 知识共享署名3.0协议（CC-BY-3.0）
任务类别:
- 令牌分类（token-classification）
语言:
- 泰语（th）
---
# 「thainer-corpus-v2」数据集卡片
## 最新动态
> 泰语命名实体识别（Named Entity Recognition, NER）v2.2版本已发布！请改用泰语NER 2.2版本的此数据集。
> 泰语NER v2.2 链接：https://huggingface.co/datasets/pythainlp/thainer-corpus-v2.2

### 泰语命名实体识别语料库
官方主页：https://pythainlp.github.io/Thai-NER/version/2
训练脚本与拆分数据集：https://zenodo.org/record/7761354
**您可在上述链接下载用于训练命名实体模型的.conll格式文件。**

### 数据集规模
- 训练集：3938篇文档
- 验证集：1313篇文档
- 测试集：1313篇文档

部分数据采集于2018年12月至2019年11月的众包任务，来源链接：https://github.com/wannaphong/thai-ner

### 应用领域
- 新闻资讯（信息技术、政治、经济、社会民生）
- 公关内容（孔敬大学（KKU）新闻）
- 通用领域

### 数据来源
1. 本数据集使用了Nutcha学位论文中的部分数据（http://pioneer.chula.ac.th/~awirote/Data-Nutcha.zip），并通过重新校验与新增标注对数据进行了优化；
2. Twitter平台；
3. Blognone.com——信息技术新闻网站；
4. thaigov.go.th（泰国政府官方网站）；
5. kku.ac.th（孔敬大学校园官网）；
另有更多数据来源（相关列表已遗失）。

### 标注标签说明
- DATA：日期
- TIME：时刻
- EMAIL：电子邮箱
- LEN：长度
- LOCATION：地点
- ORGANIZATION：企业/组织机构
- PERSON：人物姓名
- PHONE：电话号码
- TEMPERATURE：温度
- URL：统一资源定位符
- ZIP：邮政编码
- MONEY：金额
- LAW：法律法规
- PERCENT：百分比

下载渠道：HuggingFace Hub（https://huggingface.co/datasets/pythainlp/thainer-corpus-v2）

## 引用方式
> 万纳蓬·帕塔亚普班（Wannaphong Phatthiyaphaibun）. (2022). 泰语NER 2.0 (2.0) [数据集]. Zenodo. https://doi.org/10.5281/zenodo.7761354

或使用BibTeX引用格式：

@dataset{wannaphong_phatthiyaphaibun_2022_7761354,
author = {Wannaphong Phatthiyaphaibun},
title = {Thai NER 2.0},
month = sep,
year = 2022,
publisher = {Zenodo},
version = {2.0},
doi = {10.5281/zenodo.7761354},
url = {https://doi.org/10.5281/zenodo.7761354}
}

原始信息汇总

数据集概述

数据集名称

• 名称：thainer-corpus-v2

数据集特征

• words: 字符串序列
• ner: 命名实体识别标签序列，包含以下类别：
  • B-PERSON, I-PERSON, O, B-ORGANIZATION, B-LOCATION, I-ORGANIZATION, I-LOCATION, B-DATE, I-DATE, B-TIME, I-TIME, B-MONEY, I-MONEY, B-FACILITY, I-FACILITY, B-URL, I-URL, B-PERCENT, I-PERCENT, B-LEN, I-LEN, B-AGO, I-AGO, B-LAW, I-LAW, B-PHONE, I-PHONE, B-EMAIL, I-EMAIL, B-ZIP, B-TEMPERATURE, I-TEMPERATURE, B-DTAE, I-DTAE, B-DATA, I-DATA

数据集划分

• train: 3938个样本，占用3736419字节
• validation: 1313个样本，占用1214580字节
• test: 1313个样本，占用1242609字节

数据集大小

• 下载大小：974230字节
• 数据集总大小：6193608字节

许可证

• 许可证：cc-by-3.0

任务类别

• 任务：token-classification

语言

• 语言：th（泰语）

数据集来源

• 数据来源包括新闻、PR、Twitter、Blognone.com等，部分数据通过众包方式收集。

标签说明

• 数据集中的标签包括日期、时间、电子邮件、长度、位置、组织、人名、电话号码、温度、URL、邮政编码、货币、法律、百分比等。