icwb2-data 中文分词数据集

icwb2-data 数据集是由北京大学、香港城市大学、台湾 CKIP, Academia Sinica 及中国微软研究所联合发布的数据集，用以进行中文分词模型的训练。其中 AS 和 CityU 为繁体中文数据集，PK 和 MSR 为简体中文数据集。

The icwb2-data dataset was jointly released by Peking University, City University of Hong Kong, Taiwan CKIP, Academia Sinica, and Microsoft Research Asia for training Chinese word segmentation models. Among them, AS and CityU are Traditional Chinese datasets, while PK and MSR are Simplified Chinese datasets.

搜集汇总

背景与挑战

背景概述

icwb2-data是一个由多所高校和研究机构联合发布的中文分词数据集，旨在支持中文分词模型的训练。该数据集包含繁体中文和简体中文子集，并提供了训练数据、测试数据、黄金标准分割以及相关的评分工具。