kimmeoungjun/korean-wiki-pos

该数据集名为韩语维基百科形态学分析数据集，是一个用于韩语形态学分析测试的虚拟数据集。数据集是通过使用Mecab工具对韩语维基百科文本进行分析而创建的。数据集的来源是韩语维基百科，并且遵循CC-BY-SA 3.0许可证。

原始信息汇总

한국어 위키피디아 형태소 분석 데이터셋

概述

• 该数据集是为韩国语形态分析测试而创建的虚拟数据。
• 数据集基于维基百科的韩国语文本，通过Mecab工具进行分析制作。

数据来源

• 维基百科数据来源：https://github.com/lovit/kowikitext
• 韩国语Mecab下载页面：https://bitbucket.org/eunjeon/mecab-ko-dic/src/master/

数据文件配置

• 配置名称：default
  • 训练集：train.json
  • 训练集样本：train.sample.json
  • 开发集：dev.json
  • 测试集：test.json

许可证

• 该数据集遵循CC-BY-SA 3.0许可证，与kowiki数据集许可证相同。