KoCHET

KoCHET是一个韩语文化遗产语料库，用于实体相关任务，包括命名实体识别（NER）、关系提取（RE）和实体类型标注（ET）。该数据集是为韩国文化部的项目基于智能策展和服务平台的沉浸式文化遗产数字资产开发而创建的。

KoCHET is a Korean cultural heritage corpus designed for entity-related tasks, including Named Entity Recognition (NER), Relation Extraction (RE), and Entity Type Annotation (ET). This dataset was created for a project of the Ministry of Culture of the Republic of Korea, which aims to develop immersive digital cultural heritage assets for intelligent curation and service platforms.

原始信息汇总

KoCHET: 韩国文化遗产语料库

数据集概述

KoCHET是一个用于实体相关任务的韩国文化遗产语料库，包括命名实体识别（NER）、关系抽取（RE）和实体类型（ET）。

下载链接

数据集下载链接：KoCHET

文件夹结构

• KoCHET 目录结构：
  • 命名实体识别（NER）：
    • ner_{train,dev,test}.json
    • coarse_list.txt
  • 关系抽取（RE）：
    • re_{train,dev,test}.json
    • relation_list.txt
  • 实体类型（ET）：
    • et_{train,dev,test}.json
    • fine_grained_list.txt

数据集统计

任务	指标	训练集	开发集	测试集
NER	示例数量	89,884	11,245	11,233
	实体数量	393,076	32,003	32,153
RE	示例数量	31,012	3,876	3,877
	关系数量	64,080	8,031	7,831
ET	示例数量	90,558	11,320	11,320
	提及数量	266,209	33,226	33,395

基线模型性能

模型	NER实体F1宏	NER实体F1微	NER字符F1宏	NER字符F1微	RE F1宏	RE F1微	ET F1宏	ET F1微
mBERT	59.81	58.99	71.80	90.44	80.85	89.94	91.64	91.60
XLM-RoBERTa-base	76.57	79.67	82.69	94.77	80.29	89.79	91.13	91.00
KLUE-BERT-base	39.31	33.40	55.63	81.06	82.44	90.77	93.08	93.02
KLUE-RoBERTa-base	38.92	33.48	55.47	81.08	82.42	90.78	92.80	92.84

引用

bibtex @inproceedings{kim-etal-2022-kochet, title = "{K}o{CHET}: A {K}orean Cultural Heritage Corpus for Entity-related Tasks", author = "Kim, Gyeongmin and Kim, Jinsung and Son, Junyoung and Lim, Heuiseok", booktitle = "Proceedings of the 29th International Conference on Computational Linguistics", month = oct, year = "2022", address = "Gyeongju, Republic of Korea", publisher = "International Committee on Computational Linguistics", url = "https://aclanthology.org/2022.coling-1.308", pages = "3496--3505", abstract = "As digitized traditional cultural heritage documents have rapidly increased, resulting in an increased need for preservation and management, practical recognition of entities and typification of their classes has become essential. To achieve this, we propose KoCHET - a Korean cultural heritage corpus for the typical entity-related tasks, i.e., named entity recognition (NER), relation extraction (RE), and entity typing (ET). Advised by cultural heritage experts based on the data construction guidelines of government-affiliated organizations, KoCHET consists of respectively 112,362, 38,765, 113,198 examples for NER, RE, and ET tasks, covering all entity types related to Korean cultural heritage. Moreover, unlike the existing public corpora, modified redistribution can be allowed both domestic and foreign researchers. Our experimental results make the practical usability of KoCHET more valuable in terms of cultural heritage. We also provide practical insights of KoCHET in terms of statistical and linguistic analysis. Our corpus is freely available at https://github.com/Gyeongmin47/KoCHET.", }

搜集汇总

数据集介绍

构建方式

KoCHET数据集的构建基于韩国文化遗产的数字化文档，旨在支持实体相关的任务，如命名实体识别（NER）、关系抽取（RE）和实体类型标注（ET）。该数据集由韩国文化部资助的智能策展和服务平台开发项目支持，构建过程中遵循了政府附属机构的数据建设指南，并由文化遗产专家提供指导。数据集包含了112,362个NER实例、38,765个RE实例和113,198个ET实例，涵盖了与韩国文化遗产相关的所有实体类型。

特点

KoCHET数据集的特点在于其专注于韩国文化遗产领域，提供了丰富的实体类型和关系标注。数据集不仅包含了大量的训练、开发和测试样本，还提供了详细的实体列表和关系列表，便于研究人员进行深入分析。此外，KoCHET允许国内外研究人员进行修改和再分发，这在现有的公开语料库中是较为罕见的。数据集的统计信息显示，NER任务包含393,076个实体，RE任务包含64,080个关系，ET任务包含266,209个提及，这些数据为文化遗产领域的研究提供了坚实的基础。

使用方法

KoCHET数据集的使用方法包括下载数据集文件并按照任务类型进行划分。数据集文件以JSON格式提供，分别对应NER、RE和ET任务。研究人员可以通过读取这些文件来获取训练、开发和测试数据。此外，数据集还提供了基线模型的性能评估结果，如mBERT、XLM-RoBERTa-base、KLUE-BERT-base和KLUE-RoBERTa-base等模型在NER、RE和ET任务上的表现。这些基线结果可以作为研究人员开发和优化模型的参考。数据集的使用需遵循非商业研究用途的许可协议，并在发表相关研究成果时引用原始论文。

背景与挑战

背景概述

KoCHET数据集是由韩国文化部支持的智能策展与服务平台的数字资产开发项目的一部分，旨在为韩国文化遗产的实体相关任务提供支持。该数据集由Gyeongmin Kim、Jinsung Kim、Junyoung Son和Heuiseok Lim等研究人员于2022年创建，并在COLING 2022会议上发布。KoCHET专注于命名实体识别（NER）、关系抽取（RE）和实体分类（ET）等任务，涵盖了与韩国文化遗产相关的所有实体类型。该数据集的发布为文化遗产的数字化管理和研究提供了重要的资源，推动了文化遗产领域的自然语言处理技术的发展。

当前挑战

KoCHET数据集在解决文化遗产领域的实体相关任务时面临多重挑战。首先，文化遗产文档的多样性和复杂性使得实体识别和分类任务尤为困难，尤其是涉及历史文献中的专有名词和术语时。其次，数据集的构建过程中需要依赖文化遗产专家的指导，以确保数据的准确性和代表性，这对数据标注和验证提出了较高的要求。此外，KoCHET的构建还面临多语言和多文化背景下的实体类型定义和关系抽取的挑战，特别是在跨语言模型的应用中，如何保持高精度的实体识别和关系抽取仍是一个亟待解决的问题。

常用场景

经典使用场景

KoCHET数据集在自然语言处理领域，尤其是在韩语文化遗产文档的实体识别、关系抽取和实体分类任务中，展现了其独特的价值。该数据集通过提供大量标注数据，支持研究人员开发和测试先进的机器学习模型，特别是在处理韩语文化遗产相关的复杂文本时，KoCHET成为了不可或缺的资源。

实际应用

在实际应用中，KoCHET数据集被广泛用于开发智能文化遗产管理系统，这些系统能够自动识别和分类文档中的关键信息，如历史人物、地点和事件。这不仅提高了文化遗产文档的处理效率，还增强了文化遗产的数字化保存和传播能力。

衍生相关工作

KoCHET数据集的发布激发了多项相关研究，特别是在多语言实体识别和文化遗产文档处理领域。基于KoCHET，研究人员开发了多种先进的模型，如基于BERT的改进模型，这些模型在处理韩语文化遗产文档时表现出色，进一步推动了该领域的技术进步。