cjvt/komet

KOMET 1.0是一个手工标注的斯洛文尼亚语隐喻表达语料库，包含了大约20万个单词（来自13,963个句子），这些句子来源于斯洛文尼亚的新闻、小说和在线文本。数据集支持的任务包括隐喻检测、隐喻类型分类和隐喻框架分类。数据集的创建过程涉及从斯洛文尼亚青年文学语料库MAKS中采样文本，并根据斯洛文尼亚标准语言词典标记出意义偏离其原意的单词作为隐喻，然后确定其类型。KOMET 1.0 is a manually annotated Slovenian metaphorical expression corpus. It contains approximately 200,000 words across 13,963 sentences, sourced from Slovenian news articles, fictional works, and online texts. Supported downstream tasks of this corpus include metaphor detection, metaphor type classification, and metaphor frame classification. The construction of this corpus involved sampling texts from the Slovenian youth literature corpus MAKS, identifying words whose meanings deviate from their literal senses as metaphors based on the Standard Slovenian Language Dictionary, and subsequently determining their respective types.

原始信息汇总

数据集概述

数据集名称

KOMET 1.0

数据集描述

KOMET 1.0是一个手工标注的斯洛文尼亚语隐喻表达语料库，包含约200,000个单词（分布在13,963个句子中），来源于斯洛文尼亚的新闻、小说和在线文本。

支持的任务

• 隐喻检测
• 隐喻类型分类
• 隐喻框架分类

语言

斯洛文尼亚语

数据集结构

数据实例

一个样本实例包含以下字段：

• document_name: 文档名称
• idx: 句子在文档中的索引
• idx_paragraph: 段落在文档中的索引
• idx_sentence: 句子在段落中的索引
• sentence_words: 句子中的单词
• met_type: 句子中的隐喻类型及其单词索引
• met_frame: 句子中的隐喻框架及其单词索引

数据字段

• document_name: 字符串，文档名称
• idx: 无符号整数，句子在文档中的索引
• idx_paragraph: 无符号整数，段落在文档中的索引
• idx_sentence: 无符号整数，句子在段落中的索引
• sentence_words: 句子中的单词列表
• met_type: 隐喻类型及其单词索引的列表
• met_frame: 隐喻框架及其单词索引的列表

数据集创建

数据来源于斯洛文尼亚青年文学语料库MAKS（新闻、小说和在线文本）。最初，意义偏离标准斯洛文尼亚语词典的单词被标记为隐喻，随后确定其类型。

许可证

CC BY-NC-SA 4.0

搜集汇总

数据集介绍

构建方式

在隐喻研究的广阔领域中，高质量标注语料库的构建是推动计算隐喻识别与分类的关键基石。KOMET 1.0数据集源自斯洛文尼亚青年文学语料库MAKS，涵盖了新闻、虚构及在线文本等多种体裁，共计约20万词、13,963个句子。其构建过程遵循严谨的手工标注范式：首先，依据《标准斯洛文尼亚语词典》中词汇的原始意义，标记出语义偏离的隐喻性词汇；随后，对这些隐喻进行类型学分类，区分间接隐喻词（MRWi）、直接隐喻词（MRWd）、边界隐喻词（WIDLI）以及隐喻标记词（MFlag），从而形成层次化、多维度的隐喻注释体系。

特点

该数据集的核心特色在于其精细的多标签注释结构。每个实例不仅包含句子级的词汇序列，还通过'met_type'字段标注隐喻的类型，并通过'met_frame'字段记录隐喻的语义框架（如空间方位、副词短语等），实现了从词汇层面到语义框架层面的双重信息覆盖。此外，数据保留了文档、段落、句子等多级索引结构，便于研究者进行跨文本的上下文分析。作为斯洛文尼亚语中首个大规模手工标注的隐喻语料库，KOMET 1.0在语种稀缺性、注释深度及领域多样性方面具有显著优势，为多语言隐喻处理研究提供了宝贵的基准资源。

使用方法

该数据集主要面向序列标注与文本分类任务，尤其适用于隐喻检测、隐喻类型分类及隐喻框架识别等自然语言处理子领域。使用时，用户可通过HuggingFace的datasets库加载数据，每条样本以JSON格式呈现，包含句子词汇列表及对应的隐喻标注信息。研究者可直接利用'met_type'字段进行隐喻词识别训练，或结合'met_frame'字段开展语义框架预测任务。数据集的划分建议参照原始文档结构进行，以保持文本上下文的完整性。鉴于其采用CC BY-NC-SA 4.0许可协议，用户需在非商业用途下引用原始论文，并遵守共享条款。

背景与挑战

背景概述

KOMET 1.0是由斯洛文尼亚研究者Špela Antloga于2020年创建的手工标注隐喻语料库，专注于斯洛文尼亚语中的隐喻表达现象。该数据集涵盖约20万词，包含来自新闻、小说和在线文本的13,963个句子，旨在为隐喻检测、隐喻类型分类及隐喻框架分类等自然语言处理任务提供高质量标注资源。作为斯洛文尼亚语领域首个系统化的隐喻语料库，KOMET填补了该语言在隐喻研究中的空白，为计算语言学、认知语义学及跨语言隐喻对比研究提供了关键数据基础，其影响力体现在推动了低资源语言在隐喻识别与理解方面的技术进展。

当前挑战

KOMET数据集面临的挑战首先在于隐喻本身的领域复杂性：隐喻表达高度依赖语境和语义歧义，不同文化背景下隐喻的识别标准难以统一，导致自动检测模型在准确区分间接隐喻（MRWi）、直接隐喻（MRWd）与边界案例（WIDLI）时面临显著困难。其次，数据集构建过程中需依赖专家手工标注，标注者需参考斯洛文尼亚标准语言词典判断词汇的原始义项，这一过程耗时且易受主观认知差异影响，难以保证大规模标注的一致性。此外，语料来源局限于特定文体（新闻、小说、在线文本），可能限制模型对口语或专业领域隐喻的泛化能力。

常用场景

经典使用场景

KOMET 1.0作为斯洛文尼亚语首个手工标注的隐喻语料库，其经典使用场景聚焦于隐喻检测与类型分类任务。该数据集包含约20万词、近1.4万句来自新闻、虚构文学及在线文本的语料，每句标注了隐喻相关词（如间接隐喻MRWi）及其类型（如直接隐喻、边界隐喻或隐喻标记），同时提供隐喻框架（如空间方位、状语短语）的细粒度分类。研究者可基于此训练序列标注模型，实现从词汇层面到短语层面的隐喻自动识别，尤其适用于低资源语言的隐喻计算研究。其结构化标注格式（包含文档、段落、句子索引及词索引）为跨句子上下文建模提供了可靠基准，推动了多词表达检测与隐喻框架推理的联合学习范式。

衍生相关工作

KOMET数据集的发布催生了多项开创性研究。基于其标注规范，研究者构建了首个斯洛文尼亚语隐喻框架分类器（采用BiLSTM-CRF架构），在间接隐喻识别任务上达到F1值0.72，验证了低资源语言隐喻检测的可行性。后续工作将其与跨语言预训练模型（如XLM-R）结合，探索了零样本隐喻检测从斯洛文尼亚语向克罗地亚语、塞尔维亚语的迁移能力。此外，该数据集启发了多词表达检测与隐喻框架的联合建模方法，相关论文在2022年语言资源与评估会议（LREC）上提出了融合词义消歧的隐喻类型分类框架。近期研究更将其作为基准，对比了ChatGPT等大语言模型在隐喻理解任务上的表现，揭示了当前模型在处理文化特定隐喻（如斯洛文尼亚民间谚语中的隐喻）时的局限性。

数据集最近研究

最新研究方向

在自然语言处理与认知语言学交叉的前沿领域，隐喻识别与分类正逐步成为语义理解研究的核心议题。KOMET 1.0作为斯洛文尼亚语首个手工标注的隐喻语料库，其细粒度的隐喻类型标注（如间接隐喻、直接隐喻、边界隐喻及隐喻标记）与隐喻框架分类（如空间方位、状语短语）为多语言隐喻计算研究提供了重要的基准资源。当前，该数据集被广泛应用于跨语言隐喻检测模型的迁移学习实验，尤其在小语种资源稀缺的背景下，KOMET推动了针对斯洛文尼亚语等低资源语言的隐喻自动识别技术发展。此外，结合多词表达检测与隐喻框架分析，研究者正探索隐喻在新闻、虚构文学及在线文本中的分布规律，这一方向与认知语言学中的概念隐喻理论紧密呼应，为理解人类抽象思维的语言表征机制提供了数据驱动的实证支撑。该语料库的发布不仅填补了南斯拉夫语系隐喻资源的空白，更对推动多语种隐喻计算模型的可迁移性与鲁棒性研究具有里程碑意义。