HULAT/EASIER_CORPUS

EASIER_CORPUS是一个用于词汇简化的数据集，主要包含复杂词检测和同义词建议两个任务。数据集中的每一行代表一个句子，包含一个复杂词的注释和相关信息，各字段之间用TAB字符分隔。CWI数据集的列包括文档ID、句子ID、句子、目标词的偏移量、目标词以及二元任务的黄金标准标签。SG/SS数据集的列包括文档ID、目标词ID、目标词、句子以及目标词的建议同义词。数据集还进行了标注者之间的一致性评估，使用了Cohens Kappa和Fleiss Kappa两种统计方法。数据集的使用需要引用相关论文，并遵循CC BY-NC-ND 4.0许可协议。

原始信息汇总

EASIER_CORPUS

数据集概述

• 名称: EASIER_CORPUS
• 语言: 西班牙语
• 许可证: CC BY-NC-ND 4.0

数据集内容

• 任务:
  • 复杂词汇检测: 8155条
  • 建议同义词: 7892条

数据格式

• 复杂词汇检测数据集:

  • 第一列: 文档ID
  • 第二列: 句子ID
  • 第三列: 句子
  • 第四列和第五列: 目标词的偏移量
  • 第六列: 目标词
  • 第七列: 二分类任务的金标准标签

• 同义词建议数据集:

  • 第一列: 文档ID
  • 第二列: 目标词ID
  • 第三列: 目标词
  • 第四列: 句子
  • 第五列: 目标词的建议同义词，以逗号分隔

标注一致性

• Cohens Kappa:

  标注者	得分
  (1) (2)	0.6094
  (1) (3)	0.6422
  (2) (3)	0.6739

• Fleiss Kappa:

  标注者	得分
  (1) (2) (3)	0.641

引用信息

• 参考文献: Alarcon R, Moreno L, Martínez P (2023) EASIER corpus: A lexical simplification resource for people with cognitive impairments. PLOS ONE 18(4): e0283622. https://doi.org/10.1371/journal.pone.0283622

搜集汇总

数据集介绍

构建方式

EASIER_CORPUS数据集由HULAT团队构建，旨在服务于面向认知障碍人群的词汇简化任务。该数据集涵盖两个子任务：复杂词汇检测（CWI）与同义词建议（SG/SS）。CWI部分包含8155条标注样本，每条记录以制表符分隔，依次提供文档ID、句子ID、完整句子、目标词在句中的起止偏移、目标词本身及其二分类黄金标准标签。SG/SS部分则包含7892条记录，字段包括文档ID、目标词ID、目标词、所在句子及以逗号分隔的推荐同义词。为确保标注质量，研究团队在原始标注者之外引入两位独立标注者进行一致性校验，Cohen's Kappa系数介于0.6094至0.6739之间，Fleiss Kappa系数为0.641，表明标注具有中等至良好的信度。

使用方法

使用EASIER_CORPUS时，研究者可直接加载以制表符分隔的文本文件，按任务类型分别解析。对于CWI任务，模型需根据句子与目标词偏移预测该词是否为复杂词，适用于二分类或序列标注框架。对于SG/SS任务，模型需基于句子与目标词生成或选择恰当的同义词，可采纳检索式或生成式方法。建议在训练前对数据进行分词与词形还原，并利用提供的文档与句子ID进行交叉验证划分。引用时需注明参考文献Alarcon等（2023）发表于PLOS ONE的论文，并遵循CC BY-NC-ND 4.0许可协议。

背景与挑战

背景概述

在自然语言处理领域，词汇简化（Lexical Simplification）作为文本可读性增强的关键技术，长期致力于为认知障碍人群提供无障碍信息获取途径。EASIER_CORPUS由Alarcon、Moreno与Martínez等研究者于2023年构建，隶属于西班牙马德里胡安·卡洛斯国王大学主导的ACCESS2MEET项目。该数据集聚焦于西班牙语复杂词汇检测与同义词推荐任务，包含8155个标注的复杂词汇实例及7892组建议同义词，其核心研究问题在于如何通过细粒度标注体系精准识别文本中的认知障碍点。作为首个面向西班牙语认知障碍人群的词汇简化资源，该语料库通过三重标注者一致性验证（Cohen's Kappa达0.64-0.67区间），为后续跨语言简化系统研究奠定了方法论基准，显著推动了可访问性计算在罗曼语族语言中的发展进程。

当前挑战

该数据集面临的挑战体现在双重维度：在领域问题层面，西班牙语复杂的形态变化系统导致词汇难度判定标准难以统一，例如动词变位与派生词缀的认知负荷差异需通过上下文语义动态评估，远超英语等分析型语言的简化难度；在构建过程中，标注者间的认知偏差控制成为核心难题——尽管Fleiss Kappa系数达到0.641的适中一致性，但针对抽象名词（如'psicopatología'）的二元标注仍存在13.6%的歧义率，且同义词推荐需兼顾语义保真度与认知可及性，导致28.3%的标注案例需通过三阶评审消歧。此外，语料库规模受限于特定医疗文本领域（神经心理学评估报告），其稀疏性使得深度学习模型在低资源场景下的泛化能力面临严峻考验。

常用场景

经典使用场景

EASIER_CORPUS是面向西班牙语词汇简化任务的高质量标注数据集，其核心应用场景在于复杂词汇检测与同义词推荐。该数据集收录了8155个复杂词汇标注及7892组同义词建议，每条数据以句子为单位，详细标注了目标词的偏移位置、二分类标签及可替换的同义词列表。研究者常将其作为基准资源，用于训练和评估面向认知障碍人群的词汇简化模型，尤其在西班牙语自然语言处理领域，该数据集为构建可解释的词汇简化系统提供了标准化的训练与测试框架。

解决学术问题

该数据集主要解决了西班牙语词汇简化研究中标注数据匮乏的学术瓶颈。传统词汇简化工作多集中于英语，而针对西班牙语，特别是面向认知障碍群体的简化资源极为稀缺。EASIER_CORPUS通过严格的多轮标注者一致性验证（Cohen's Kappa达0.609-0.674，Fleiss Kappa为0.641），提供了高可靠性的复杂词汇识别与同义词生成标注，使得研究者能够系统性地探索词汇复杂度判定标准、上下文相关同义词选择策略，以及简化模型对不同认知水平用户的适应性，从而推动多语言词汇简化理论的完善。

实际应用

在实际应用中，EASIER_CORPUS支撑着面向智力障碍、失语症及老年用户的智能文本简化系统开发。例如，可将其集成至西班牙语电子政务平台、健康宣教材料或教育辅助工具中，自动识别并替换医学术语、法律用语等复杂词汇，降低阅读障碍群体的信息获取门槛。此外，该数据集还能赋能智能家居系统的语音交互界面，通过实时简化指令文本提升认知障碍用户的人机交互体验，具有显著的社会包容性价值。

数据集最近研究

最新研究方向

在自然语言处理领域，面向认知障碍人群的文本简化任务正逐渐成为研究热点。EASIER_CORPUS数据集专为此方向设计，聚焦于复杂词汇检测与同义词推荐，覆盖超过8000个复杂词实例及近7900组同义替换建议。该数据集通过高一致性的人工标注（Fleiss Kappa达0.641）确保了质量，为开发更精准的词汇简化模型提供了可靠基准。当前前沿研究多围绕如何利用此类资源提升辅助技术的可及性，例如结合大型语言模型生成个性化简化文本，以改善认知障碍患者的信息理解能力。EASIER_CORPUS的发布不仅推动了西班牙语文本简化的标准化评估，还促进了包容性AI在医疗与教育领域的实际应用，具有显著的社会意义与学术价值。