pku_cws

# conllpp命名实体识别数据集

## 数据集概述
pku_cws 中文分词数据集是由北大计算语言学研究所标注发布的，使用于[BABERT](https://arxiv.org/abs/2210.15231)论文实验。

### 数据集简介
TODO

### 数据集的格式和结构
数据格式采用conll标准，分词数据包括两列，第一列输入句中的词划分以及最后一列中每个词对应的分词标签。一个具体case的例子如下：

```
共 B-CWS
同 E-CWS
发 B-CWS
展 E-CWS
的 S-CWS
新 S-CWS
世 B-CWS
纪 E-CWS
而 S-CWS
不 B-CWS
懈 I-CWS
努 I-CWS
力 E-CWS
！ S-CWS
```

## 数据集版权信息

CC BY-NC-SA 4.0

## 引用方式
```bib
@misc{pkucws
title = {现代汉语语料库加工规范——词语切分与词性标注},
author = {北京大学计算语言学研究所},
url = {http://sighan.cs.uchicago.edu/bakeoff2005/data/pku_spec.pdf},
note = {The Second International Chinese Word Segmentation Bakeoff took place over the summer of 2005 and the results were presented at the 4th SIGHAN Workshop, held at IJCNLP'05, October 14-15.},
year = {2005}
}
```

# conllpp命名实体识别数据集

## 数据集概述
pku_cws中文分词数据集由北京大学计算语言学研究所标注并发布，用于[BABERT](https://arxiv.org/abs/2210.15231)论文的实验研究。

### 数据集简介
TODO

### 数据集格式与结构
该数据集采用CoNLL标准（Conference on Computational Natural Language Learning）格式，分词数据包含两列：第一列为输入语句的词划分结果，最后一列为各分词单元对应的分词标签。以下为一个具体示例：

共 B-CWS
同 E-CWS
发 B-CWS
展 E-CWS
的 S-CWS
新 S-CWS
世 B-CWS
纪 E-CWS
而 S-CWS
不 B-CWS
懈 I-CWS
努 I-CWS
力 E-CWS
！ S-CWS

## 数据集版权信息
CC BY-NC-SA 4.0

## 引用方式
bib
@misc{pkucws
title = {现代汉语语料库加工规范——词语切分与词性标注},
author = {北京大学计算语言学研究所},
url = {http://sighan.cs.uchicago.edu/bakeoff2005/data/pku_spec.pdf},
note = {第二届国际中文分词评测（SIGHAN Bakeoff 2005）于2005年夏季开展，相关结果于2005年10月14日至15日在IJCNLP'05举办的第4届SIGHAN研讨会上发布。},
year = {2005}
}

搜集汇总

背景与挑战

背景概述

pku_cws是一个中文分词数据集，由北京大学计算语言学研究所标注发布，主要用于BABERT论文实验。数据采用conll标准格式，包含词划分和对应的分词标签（如B-CWS、E-CWS），适用于token-classification任务。数据集遵循CC BY-NC-SA 4.0版权协议，更新于2022年，大小为3.70MB。