遇见数据集

CSS

收藏
arXiv2023-06-07 更新2024-06-21 收录
数据链接:
官方服务:

资源简介:

CSS(中文句子简化数据集)是由北京大学相关研究机构创建的,旨在评估中文句子简化模型的数据集。该数据集包含766条人工简化的句子,每个原始句子有两个简化版本。数据来源于人民日报的PFR语料库,通过随机抽样和人工简化过程构建。CSS数据集的特点是包含了多种简化操作的标签,如词汇简化、句子分割、压缩和句子改写等。该数据集主要用于评估和改进中文句子简化技术,特别是针对非母语读者和阅读障碍者的需求。

The CSS (Chinese Sentence Simplification) dataset was developed by research institutions affiliated with Peking University, with the goal of evaluating Chinese sentence simplification models. This dataset contains 766 manually simplified sentences, with two simplified versions for each original sentence. Derived from the PFR Corpus of People's Daily, the dataset was constructed through random sampling and manual simplification processes. A key characteristic of the CSS dataset is that it includes annotation labels for various simplification operations, such as lexical simplification, sentence splitting, compression, and sentence rewriting. This dataset is mainly utilized to evaluate and advance Chinese sentence simplification technologies, particularly catering to the requirements of non-native readers and people with reading disorders.

创建时间:
2023-06-07
搜集汇总
数据集介绍
CSS 数据集图片
构建方式
CSS数据集的构建源自对中文句子简化研究的迫切需求。由于缺乏大规模平行语料,研究团队从PFR语料库中随机抽取原始句子,并邀请通过资格测试的母语标注者进行人工简化。每位标注者需对每个原始句子提供两个简化版本,并标注所采用的简化操作类型,包括词汇简化、句子拆分、压缩和句子改写。为确保质量,标注过程中设置了虚假样本进行质量控制,并剔除了置信度过低的实例。最终数据集包含383个原始句子及其对应的766个人工简化结果。
特点
CSS数据集的特点在于其多样化的简化操作和丰富的标注信息。与英文数据集相比,中文简化更倾向于词汇简化而非结构变化,句子拆分比例仅11.8%,远低于英文数据集的20.2%。压缩操作也较少,部分简化因成语解释反而增加了长度。数据集提供了简化操作标签,便于评估可控简化系统。人类评估显示,简化句在流畅性和意义保留上得分极高,分别为4.83和4.71,验证了数据集的高质量。
使用方法
CSS数据集主要用于评估中文句子简化模型的性能。研究者可采用无监督方法(如基于双语翻译语料构建伪平行语料)或零样本/少样本学习方法进行实验。零样本迁移可利用mT5等模型在英文简化数据上微调后直接测试,少样本迁移则使用附带的额外数据集进行微调。评估指标推荐使用字符级和词级SARI,因其与人类简化判断的相关性更高。此外,大型语言模型如GPT-3.5-turbo在少样本设置下表现优异,可作为强基线方法。
背景与挑战
背景概述
句子简化作为自然语言处理领域的重要技术,旨在降低文本理解难度,惠及语言学习者、儿童及阅读障碍人群。然而,当前研究多聚焦于英语,中文句子简化的发展因缺乏公开数据集而严重滞后。为填补这一空白,北京大学王选计算机研究所的杨世平、孙仁良及万小军等人于2023年构建了CSS(Chinese Sentence Simplification)数据集。该数据集包含383条原始句子及其人工简化的成对参照,并标注了词汇简化、句子分割、压缩与改写等操作标签,成为首个面向中文句子简化评估的开源资源。CSS的发布为跨语言简化研究提供了基准,推动了中文自然语言处理在低资源场景下的探索。
当前挑战
CSS数据集面临的核心挑战在于中文句子简化任务的独特性。首先,中文语法结构与语言习惯迥异于英文,如复杂句常由短句构成而非嵌套从句,导致句子分割操作比例仅11.8%,远低于英文数据集;成语等文化负载词难以通过词汇简单替换,需用短句解释,增加了简化的复杂性。其次,数据构建过程困难重重:缺乏类似简单维基百科的大规模中文简化语料,无法采用自动对齐方法;人工标注成本高昂且耗时,仅5名合格标注员参与,最终产出766条简化结果。此外,现有自动评估指标如SARI与中文简化任务的相关性有限,亟需开发适配中文特性的评价体系。
常用场景
经典使用场景
CSS数据集在中文句子简化研究中扮演着基石角色,其经典使用场景聚焦于评估各类简化模型的性能。由于中文句子简化长期缺乏公开的评估语料,CSS填补了这一空白,为研究者提供了首个专门用于评测的中文简化数据集。该数据集包含383条原始句子及其人工编写的简化版本,并标注了词汇简化、句子拆分、压缩和改写等多种操作类型,使得研究者能够系统性地衡量模型在保留原意、提升可读性方面的表现。
实际应用
在实际应用层面,CSS数据集支撑了面向语言学习者、儿童及阅读障碍人群的智能辅助工具开发。基于CSS训练的简化模型能够自动将复杂的中文新闻或文本转化为更易理解的表达,例如将包含成语或嵌套结构的句子改写为短句,从而降低阅读门槛。此外,该数据集还可用于优化教育科技产品中的内容适配功能,帮助非母语用户更顺畅地理解中文信息,展现出在无障碍阅读和语言教育领域的广阔应用前景。
衍生相关工作
CSS数据集衍生了一系列重要的研究工作,包括对无监督简化方法的深入探索和跨语言迁移学习的实验验证。研究者基于CSS评估了MUSS等无监督模型在中文上的表现,并探索了利用机器翻译构建伪平行语料的策略。此外,该数据集还催生了针对中文简化特性的分析工作,揭示了中文与英文在简化操作上的差异,如中文更少依赖句子拆分而更多依赖词汇解释。这些工作为构建更鲁棒的中文简化系统奠定了实证基础,并启发了后续对大型语言模型在低资源语言简化任务中能力的系统评测。
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务