Pratyaya-Kosh

Pratyaya-Kosh是由印度理工学院-德里的研究团队创建的一个梵文后缀和屈折词（padas）的基准语料库，旨在评估和改进梵文衍生名词分析的工具和方法。该数据集包含24,757个主要衍生名词（Kridanta）和3,088个次要衍生名词（Taddhitanta），每个记录由动词词干、krit后缀和Kridanta或名词、taddhit后缀和Taddhitanta组成。数据集的创建过程涉及从多个来源提取数据，并使用机器学习算法进行处理。Pratyaya-Kosh的应用领域主要集中在梵文语言的形态分析，旨在解决梵文文本分析中的形态学问题，特别是在衍生名词的形成和分析方面。

Pratyaya-Kosh is a benchmark corpus of Sanskrit suffixes and inflected words (padas) developed by a research team from the Indian Institute of Technology Delhi, aiming to evaluate and enhance tools and methods for Sanskrit derived noun analysis. This corpus contains 24,757 primary derived nouns (Kridanta) and 3,088 secondary derived nouns (Taddhitanta). Each record follows one of two structural formats: either a verb stem, a krit suffix, and the corresponding Kridanta, or a noun, a taddhit suffix, and the corresponding Taddhitanta. The construction of Pratyaya-Kosh involves extracting data from multiple sources and processing it using machine learning algorithms. The primary application scope of Pratyaya-Kosh focuses on morphological analysis of the Sanskrit language, aiming to address morphological issues in Sanskrit text analysis, particularly those related to the formation and analysis of derived nouns.

搜集汇总

数据集介绍

构建方式

Pratyaya-Kosh数据集的构建基于对梵语词法分析中核心要素——Pratyaya（后缀）的系统性整理。数据源自四类权威资源：Panini Pratyayarth Kosh、Sanskrit Hindi Kosh词典、KridantaRupaMala以及基于Ashtadhyayi规则开发的Sankrit Abhyas Portal，其中大部分数据提取自后者。数据集以三元组形式组织，分别记录动词词干与krit后缀对应的Kridanta（初级派生名词），以及名词与taddhit后缀对应的Taddhitanta（次级派生名词），每个条目构成可直接用于机器学习输入的标准化元组。

特点

该数据集具有鲜明的领域特色与结构优势。其Kridanta部分涵盖12种不同krit后缀，共计24,757条记录；Taddhitanta部分包含17种taddhit后缀，共计3,088条记录，两者共同覆盖了梵语派生名词的主要形态类型。数据集以SLP1转写格式存储，便于神经网络模型直接处理，且所有条目均经过严格校验，确保后缀与词干组合的准确性。作为首个面向梵语后缀分析的基准语料库，Pratyaya-Kosh填补了该领域标准化评估资源的空白。

使用方法

Pratyaya-Kosh适用于两种核心任务：派生名词的生成与拆分。在生成任务中，模型以'词干+后缀'的拼接序列作为输入，输出对应的派生名词；在拆分任务中，输入与输出互换，模型需将派生名词还原为词干与后缀。研究采用基于注意力机制的序列到序列LSTM模型进行训练，输入输出序列的最大长度分别为17和18个字符，字典仅包含53个字符，使用独热编码表示。数据集按80%训练验证与20%测试的比例划分，评估标准严格，要求生成或拆分的完整匹配才算成功。

背景与挑战

背景概述

梵语作为古印度文明的核心语言，承载着丰富的宗教、哲学与科学文献，其语法体系由公元前5世纪的学者波你尼在《八章书》中系统化规范，成为语言学史上的典范。然而，梵语高度屈折的形态特征，尤其是派生名词（如由词根加后缀构成的kridanta和由名词加后缀构成的taddhitanta）的生成与解析，长期缺乏标准化基准数据集，制约了计算语言学领域的进展。为此，印度理工学院德里分校的Arun Kumar Singh及其团队于2020年创建了Pratyaya-Kosh语料库，这是首个专注于梵语后缀（pratyaya）与派生名词分析的基准语料集。该数据集从四类权威来源（包括梵语学习门户、波你尼词典等）系统提取了24,757个kridanta词元和3,088个taddhitanta词元，覆盖12种krit后缀与17种taddhit后缀，旨在为研究者提供可直接用于机器学习方法的标准化资源，从而推动梵语形态分析工具的验证与优化，对低资源语言的NLP研究具有重要示范意义。

当前挑战

Pratyaya-Kosh所应对的核心挑战在于梵语派生名词形态分析的复杂性：首先，传统基于规则的工具（如JNU梵语kridanta分析器与海得拉巴大学形态生成器）覆盖范围有限且难以扩展，在开放域中准确率低下——前者对kridanta拆分仅达38.9%，后者对taddhitanta拆分仅23.62%，凸显了领域内缺乏统一基准的困境。其次，从构建层面看，数据采集面临严重的不平衡问题：部分后缀（如krit后缀中的Satf与SAnac）样本量远少于其他后缀，导致神经网络训练时需剔除这些类别以避免偏差；同时，taddhitanta的形态规则比kridanta更为复杂，且可用数据仅3,088条，使得序列到序列模型在该任务上的准确率（80.09%）显著低于kridanta（84.58%）。此外，数据源分散于印刷古籍与不同格式的电子资源，需人工进行标准化转换（如将ITRANS编码转为SLP1），增加了预处理成本。这些挑战共同指向一个根本问题：如何在有限且异构的标注数据下，构建无需外部词典即可泛化的神经形态分析模型。

常用场景

经典使用场景

在梵语计算语言学的广袤领域中，形态分析始终是理解这一古老语言深层结构的基石。Pratyaya-Kosh作为首个专门针对梵语派生名词的基准语料库，其经典使用场景聚焦于后缀（Pratyaya）驱动的屈折词（Pada）分析与生成。研究者借助该语料库，能够系统性地评估和训练模型，以应对Kridanta（初级派生名词）和Taddhitanta（次级派生名词）的形态解析任务，从而在梵语文本的自动化处理中实现精准的词汇拆分与合成。

解决学术问题

该数据集精准回应了梵语形态分析中长期悬而未决的学术困境：既有工具在派生名词处理上缺乏标准化与全覆盖。Pratyaya-Kosh通过提供包含24,757个Kridanta和3,088个Taddhitanta的标注语料，为验证和提升形态分析器的性能奠定了可靠基准。其意义在于，它首次将神经网络序列到序列模型引入梵语派生名词分析，显著超越了传统基于词典的方法，推动了语言学与深度学习交叉领域的理论发展。

衍生相关工作

Pratyaya-Kosh的发布催生了一系列衍生性研究工作。其数据与评估框架被用于改进JNU梵语Kridanta分析器与UoH形态生成器等既有工具的性能。同时，基于该语料库的神经网络方法启发了后续研究，如利用图半监督方法分析派生名词，以及尝试自动化遵循波你尼语法规则的派生过程。这些工作共同构建了一个从规则驱动到数据驱动的梵语形态分析研究谱系，深化了对这一经典语言计算建模的理解。