five

Chinese SNACS Corpus

收藏
arXiv2020-03-19 更新2024-06-21 收录
下载链接:
https://github.com/nert-nlp/Chinese-SNACS/
下载链接
链接失效反馈
官方服务:
资源简介:
Chinese SNACS Corpus是首个针对汉语中所有介词进行语义标注的数据集,由乔治城大学语言学系创建。该数据集基于《小王子》的中文翻译,共包含20,287个词汇,其中933个为介词。数据集的创建过程中,研究者们采用了SNACS(Semantic Network of Adposition and Case Supersenses)框架,对介词进行了详细的语义分类。该数据集主要应用于自然语言处理领域,如机器翻译和语法错误校正,旨在解决跨语言介词语义变异的问题。

The Chinese SNACS Corpus is the first dataset dedicated to semantic annotation of all prepositions in Chinese, created by the Department of Linguistics at Georgetown University. Derived from the Chinese translation of *The Little Prince*, this dataset contains a total of 20,287 tokens, 933 of which are prepositions. During the development of this dataset, researchers adopted the SNACS (Semantic Network of Adposition and Case Supersenses) framework to conduct detailed semantic classification of prepositions. This dataset is primarily applied in the field of natural language processing, such as machine translation and grammatical error correction, with the aim of resolving cross-linguistic semantic variation in prepositions.
创建时间:
2020-03-19
搜集汇总
数据集介绍
main_image_url
构建方式
在语义关系标注的广阔图景中,介词语义的多义性与跨语言差异始终是研究的难点。Chinese SNACS Corpus 的构建,正是基于对 Schneider 等人提出的 SNACS 标注框架的创造性改编。研究者选取了《小王子》的中文译本作为语料来源,该译本与英文、德文、法文等多语种版本平行对齐,为跨语言对比提供了坚实基础。在预处理阶段,团队采用 Jieba 进行自动分词并辅以人工校正,严格遵循宾州中文树库的分词规范,确保所有潜在介词的独立切分。随后,三位母语为普通话的标注者依据针对中文语法现象(如连动式中的 coverb 和方位词)制定的新准则,对全部 933 个介词目标进行了语义超义标注,最终以 CoNLL-U-Lex 格式存储,集成了依存句法分析与超义信息。
特点
该数据集的核心特质在于其开创性与精细化的语义刻画。作为首个对中文介词进行全面超义标注的语料库,它覆盖了 70 种不同的介词类型,并基于 SNACS 的 50 个语义超义标签,识别出 28 种场景角色与 26 种功能角色,以及 41 种完整的构式组合。尤为引人瞩目的是,该语料库揭示了中文介词独特的语义行为,例如 EXPERIENCER 作为功能角色的高频出现,以及 RECIPIENT↝DIRECTION 等构式的显著分布,这些现象在英文语料中鲜有对应。此外,语料库中 14% 的构式呈现出场景角色与功能角色的分歧,展示了中文介词在语境中语义延展的丰富性,为理解跨语言介词差异提供了珍贵的数据支撑。
使用方法
研究者可借助该语料库深入探索中文介词语义的奥秘。通过直接访问公开的 GitHub 仓库,用户能够获取完整的中文 SNACS 标注数据以及配套的标注指南。该语料库以 CoNLL-U-Lex 格式呈现,便于与 Universal Dependencies 工具链无缝衔接,支持词性标注、依存分析和超义标签的联合查询。在应用层面,它可用于训练和评估中文介词歧义消解系统,或作为平行语料进行英中对比分析,揭示同一语义关系在不同语言中的表达差异。此外,语料库中标注的构式信息(如 STIMULUS↝TOPIC)可服务于机器翻译中的介词选词优化与语法纠错任务,为自然语言处理应用提供语义层面的精细指导。
背景与挑战
背景概述
介詞(adpositions)作為語言中標記語義關係的高頻詞彙,在空間、時間、因果、歸屬等多個語義域中承載著複雜且歧義的意義,其跨語言變異性長期困擾著第二語言習得與自然語言處理研究。為填補漢語介詞語義標註資源的空白,喬治城大學語言學系的Siyao Peng、Yang Liu、Yilun Zhu等研究者於2020年創建了Chinese SNACS Corpus,這是首個基於SNACS(介詞與格上義類語義網絡)框架對普通話介詞進行全面語義標註的語料庫。該語料庫以《小王子》漢譯本為基礎,包含933個手動識別的介詞標註目標,涵蓋70個介詞類型、28個場景角色與26個功能上義類,並通過高信度的注釋者間一致性驗證了框架的跨語言適用性。該資源不僅促進了漢語介詞語義的系統性研究,還為機器翻譯、語法錯誤糾正等應用提供了關鍵的平行語料支持,其對比分析揭示了漢英介詞在語義分佈與構式上的顯著差異。
当前挑战
該數據集面臨的核心挑戰首先來自於所解決的領域問題:介詞的高度歧義性與跨語言變異性使得語義消歧極為困難,例如漢語中‘在’與‘對’等介詞在不同語境中承載多種上義類,現有詞性標註器(如StanfordNLP)僅能正確識別41.3%的介詞目標,大量目標被誤標為動詞或名詞。其次,構建過程中需應對漢語獨特的語法現象:一是‘覆動詞’(coverbs)兼具動詞與介詞功能,需嚴格區分其主謂語用法與修飾用法;二是‘方位詞’(localizers)雖非典型介詞,卻傳遞豐富的語義信息,需一併納入標註範疇。此外,注釋者需在缺乏漢語先例的情況下,從50個通用上義類中為每個介詞選擇場景角色與功能,並處理兩者不一致的‘構式’(construal)情況,這在跨語言適應中催生了如BENEFICIARY↝EXPERIENCER等六種全新構式類型。
常用场景
经典使用场景
在语义角色标注与跨语言介词消歧的研究领域中,Chinese SNACS Corpus作为首个对汉语介词语义进行广泛标注的语料库,为探究汉语介词语义的多义性与跨语言差异提供了精细化的数据基础。该数据集最经典的使用场景在于结合SNACS框架的50种语义超类,对汉语介词(包括前置词与后置词)进行场景角色与功能的双重标注,从而揭示汉语中如“在”“对”等高频介词语义分布的独特性,并支持与英语等语言的平行对比分析。
解决学术问题
该数据集有效解决了汉语介词语义标注资源匮乏这一长期困扰学术界的难题。此前,汉语语义研究多聚焦于实词,而介词作为高歧义功能词,其语义关系的系统标注几乎空白。Chinese SNACS Corpus通过引入跨语言通用的超类体系,不仅验证了SNACS框架在汉语中的适用性,还揭示了汉语特有的构式分析现象,如“对……来说”中体验者角色的功能化表达,为跨语言介词语义变异研究提供了可复现的实证依据,推动了语义角色标注理论在汉语句法环境下的拓展与修正。
衍生相关工作
该数据集衍生了一系列具有影响力的后续工作,包括基于其标注体系扩展至其他语种(如法语、德语、韩语)的《小王子》平行语料库,从而构建跨语言介词语义对齐资源。此外,研究者利用该数据集的构式标注信息,改进了汉语依存句法分析器中对于“覆盖动词”与“方位词”的语义角色预测能力,并催生了面向汉语介词自动识别与消歧的序列标注模型。在理论层面,该数据集启发了对SNACS超类层级结构的修正,新增了如“受益者↝体验者”等汉语特有的构式类型,进一步丰富了通用介词语义网络的覆盖范围。
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务