devngho/oldhangul-dataset

该数据集是基于韩文维基文库构建的旧韩文数据集，包含两个配置：wikisource和wikisource_v2。每个配置都有标题、描述、许可证、文本和元数据等特征。数据集的大小在1K到10K之间，主要用于韩文文本处理。数据集的许可证为CC BY-SA 4.0，数据来源为韩文维基文库。

原始信息汇总

数据集概述

数据集名称

• config_name: wikisource

数据集特征

• title: 数据类型为字符串
• description: 数据类型为字符串
• license: 结构化数据，包含以下子特征：
  • accessed_at: 数据类型为字符串
  • original_source: 结构化数据，包含以下子特征：
    • author: 数据类型为字符串
    • source: 数据类型为字符串
  • wiki_source_link: 数据类型为字符串
• text: 数据类型为字符串
• meta: 结构化数据，包含以下子特征：
  • page: 数据类型为int64
  • year: 数据类型为float64
• index_level_0: 数据类型为int64

数据集分割

• train: 数据大小为18590137字节，包含7077个样本

数据集大小

• download_size: 6189434字节
• dataset_size: 18590137字节

许可证

• license: cc-by-sa-4.0

语言

• ko

标签

• oldhangul

大小分类

• 1K<n<10K

搜集汇总

数据集介绍

构建方式

在历史语言学研究与自然语言处理交叉领域中，古韩文（옛한글）语料的数字化积累至关重要。该数据集基于韩国维基文库（Wikisource）构建，通过系统化爬取与结构化处理，将散落的古韩文文献转化为机器可读的语料资源。数据集包含两个配置版本：wikisource与wikisource_v2，前者包含7,077条样本，后者扩充至7,615条样本，数据规模介于1K至10K之间。每条样本均包含标题、描述、许可证信息、文本内容及元数据（页面编号与年份），其中许可证字段详细记录了访问时间、原始作者、来源及维基链接，确保了数据溯源的可信度。

特点

该数据集的核心特色在于其历史语言学价值与结构化严谨性。数据全部采用古韩文书写，保留了文献的原始风貌，为研究朝鲜半岛古代语言演变提供了珍贵素材。数据集采用CC BY-SA 4.0许可协议，符合开放科学精神。此外，数据集提供了cleaned版本，通过过滤汉字占比超过20%的条目，并清理<br>标签及多余换行符，显著提升了文本质量。元数据中的年份字段支持按时间维度筛选，便于进行历时语言分析。两个配置版本并行存在，允许研究者根据需求选择基础版或清洗版，灵活适配不同实验场景。

使用方法

调用该数据集极为便捷，可通过HuggingFace的datasets库直接加载。用户只需执行一行Python代码：from datasets import load_dataset; ds = load_dataset("devngho/oldhangul-dataset", "wikisource_v2")，即可获得训练集。数据集仅包含train分割，无需额外划分即可用于模型训练。对于需要更高质量数据的场景，推荐使用cleaned版本，该版本在原始数据基础上完成了噪声过滤与格式规范化。数据集中的license字段提供了原始维基链接与作者信息，方便用户进行学术引用与版权核查。所有数据以Parquet格式存储，支持高效读取与批处理。

背景与挑战

背景概述

古韩文作为朝鲜语历史演变的重要载体，承载着丰富的文献与文化遗产，然而其数字化资源长期匮乏，限制了自然语言处理领域对历史语言的研究。由开发者 devngho 于近年构建的 oldhangul-dataset，基于维基文库（Wikisource）中大量古韩文文本，通过系统化整理与标注，形成了一个规模介于千至万条记录之间的结构化数据集。该数据集的核心研究问题在于为古韩文的机器理解与处理提供基础语料，从而推动历史语言学、数字人文及低资源语言建模等方向的发展。其影响力体现在填补了古韩文领域缺乏公开可用数据集的空白，为后续的文本清洗、语言模型预训练及跨时代语言对比研究奠定了重要基石。

当前挑战

该数据集面临的挑战首先来自领域问题层面：古韩文与现代韩文在语法、词汇及书写规范上存在显著差异，加之文本中常混入大量汉字与历史变体，使得自动分词、词性标注及语义理解任务异常复杂，现有模型难以直接迁移。此外，构建过程中亦遭遇多重困难：维基文库中的原始文本包含不规范的换行符、HTML 标签及格式错误，且部分页面汉字占比超过 20%，需通过专门的清洗流程予以剔除；同时，数据来源的分散性与元数据的不一致性，要求对每条文本的版权、作者及原始来源进行逐一核实与结构化存储，显著增加了数据整合的复杂度。

常用场景

经典使用场景

该数据集的核心应用场景在于为古代韩文（옛한글）的自然语言处理研究提供高质量的语料资源。基于维基文库（Wikisource）构建的文本集合，涵盖了从历史文献到古典文学的多领域内容，特别适用于训练和评估面向古韩文的语言模型、光学字符识别（OCR）后处理以及历史文本的数字化解析任务。研究者可借助该数据集探索古韩文的词汇演变、语法结构及书写规范，为东亚古典文献的智能化处理奠定数据基础。

衍生相关工作

该数据集衍生出多个经典工作方向：一方面，基于其原始版本与清洗版本的对比，研究者开展了古韩文噪声文本的鲁棒性建模研究；另一方面，其元数据中的年份信息催生了面向时间维度的语言演化分析任务，例如构建动态词向量模型追踪语义变迁。此外，该数据集常被用于验证跨语言迁移学习在低资源古文字场景下的有效性，并与现代韩文基准数据集（如KLUE）联合使用，以评估模型对历史语言变体的适应能力。

数据集最近研究

最新研究方向

该数据集聚焦于构建基于朝鲜语文献的古代韩文语料库，为历史语言学与自然语言处理的交叉研究开辟了新的路径。近期前沿方向集中在利用此类稀缺的古文数据训练专门的语言模型，以提升对非现代文本的识别与理解能力。随着数字人文领域的兴起，对历史文献的自动化分析成为热点，该数据集通过提供结构化的古代韩文文本，支持了从文字演变规律挖掘到古籍数字化保护的一系列关键任务。其采用CC-BY-SA-4.0许可协议，促进了学术共享与协作，对于推动东亚古文字处理技术的进步及文化遗产的智能化传承具有深远意义。