somosnlp-hackathon-2022/readability-es-hackathon-pln-public

该数据集是用于西班牙语可读性评估的短篇文章汇编。这些文章主要来自学习西班牙语作为第二语言的网站，包括Coh-Metrix-Esp语料库、kwiziq和hablacultura.com等来源。数据集包含1019个文本条目，长度在80到8714个字符之间，大多数（97%）文本长度低于4000个字符。数据格式为json lines，包含类别、级别、文本等字段。

原始信息汇总

数据集概述

数据集描述

该数据集名为“readability-es-sentences”，是一个用于可读性评估的西班牙语短文汇编。

数据集来源

• Coh-Metrix-Esp corpus (Quispesaravia, et al., 2016): 包含100个平行文本，具有简单和复杂两种西班牙语版本，涵盖儿童和成人故事。
• kwiziq: 语言学习助手。
• hablacultura.com: 面向学生和教师的西班牙语资源网站。

数据集结构

• 文本数量： 1019篇。
• 文本长度： 80至8714个字符，其中97%的文本长度低于4000个字符。

数据字段

• Category: 根据CEFR标准划分的文本等级。
• Level: 标准化可读性等级：简单或复杂。
• Level-3: 标准化可读性等级：基础、中级或高级。
• Text: 格式化为句子的原始文本。

语言

西班牙语

许可证

该数据集遵循CC-BY-4.0许可证。

搜集汇总

数据集介绍

构建方式

在自然语言处理与教育技术交汇的领域，可读性评估作为文本难度量化的核心任务，对语言学习资源的智能化适配具有重要价值。该数据集由西班牙语教学网站及学术语料库整合而成，主要来源于Coh-Metrix-Esp语料库中100篇包含简单与复杂变体的平行文本、kwiziq语言学习助手平台以及hablacultura.com的西班牙语教学资源。原始文本经过标准化处理，依据欧洲共同语言参考框架（CEFR）标注难度等级，并统一转化为句子级别的结构化格式，最终以JSON Lines形式存储，确保数据在语言学与计算层面的双重可用性。

特点

该数据集汇聚了1019条西班牙语短文本，长度介于80至8714字符之间，其中97%的条目低于4000字符，兼顾了文本的多样性与处理效率。其核心特色在于多层级可读性标注体系：包含基于CEFR的细粒度分类、二元难度（简单/复杂）以及三级难度（基础/中级/高级），为不同粒度的可读性模型训练提供灵活选择。尽管部分条目存在缺失值，但每条文本至少包含一个有效难度标签，并采用'N/A'标识未知信息，体现了标注的严谨性与实际应用的包容性。

使用方法

该数据集专为西班牙语文本可读性分类任务设计，可直接用于训练或评估文本难度预测模型。使用时需注意字段的异构性：'category'字段提供CEFR等级参考，'level'与'level-3'分别对应二分类与三分类标签，研究者可根据任务需求选择目标标签。数据以JSON Lines格式提供，便于通过标准Python库（如jsonlines或pandas）加载。建议在使用前过滤含'N/A'的条目以确保标签完整性，或采用半监督策略利用部分标注信息。

背景与挑战

背景概述

可读性评估是自然语言处理领域的一项重要任务，旨在自动判断文本的难易程度，对于教育、语言学习和信息检索等应用具有深远意义。在此背景下，readability-es-sentences数据集应运而生，由Laura Vásquez-Rodríguez、Pedro Cuenca、Sergio Morales和Fernando Alva-Manchego等研究人员于2022年在SomosNLP黑客松中构建。该数据集专门面向西班牙语，汇集了来自Coh-Metrix-Esp语料库、kwiziq和hablacultura.com等来源的1019篇短文章，并依据欧洲语言共同参考框架（CEFR）标注了文本的难度等级。作为首个聚焦西班牙语句子级可读性的公开资源，该数据集填补了低资源语言在可读性评估领域的数据空白，为相关研究提供了标准化基准，推动了西班牙语教育技术的进步。

当前挑战

该数据集面临的核心挑战在于西班牙语可读性评估的领域复杂性。首先，文本难度标注依赖于CEFR等级，但不同来源的文章在主题、风格和长度上差异显著（字符数从80到8714不等），导致标注一致性难以保证，部分条目甚至缺失关键字段如category或level。其次，构建过程中遇到数据稀缺与整合难题：现有语料库如Coh-Metrix-Esp仅包含100篇平行文本，而kwiziq和hablacultura.com的爬取内容需手动清洗与标准化，以消除噪声并确保标注的可靠性。此外，可读性本身是一个多维概念，涉及句法复杂度、词汇频率和语义连贯性等多个因素，当前数据集仅基于文本长度和粗略等级划分，难以捕捉细微的难度变化，限制了模型在真实场景中的泛化能力。

常用场景

经典使用场景

在自然语言处理与教育技术交叉领域，该数据集专为西班牙语文本可读性评估而构建，其经典使用场景聚焦于文本复杂度分级任务。研究者可基于CEFR等级或二分类标签（简单/复杂）训练分类模型，自动判别西班牙语学习材料的适宜水平，从而辅助语言教学资源的精准匹配。

衍生相关工作

该数据集衍生了一系列开创性工作，包括基于Transformer架构的西班牙语可读性分类模型（如BERT-based readability assessor），以及融合句法解析与词汇复杂度特征的多维度评估框架。此外，它催生了跨语种可读性迁移学习研究，为低资源语言的可读性标注策略提供了方法论参考，推动了多语言教育NLP的协同发展。

数据集最近研究

最新研究方向

在自然语言处理领域，文本可读性评估是教育科技与语言习得研究的重要分支，尤其面向西班牙语作为第二语言的学习场景。该数据集整合了Coh-Metrix-Esp语料库、Kwiziq语言学习平台及Hablacultura.com教学资源，构建了涵盖1019篇短文的分类体系，依据欧洲共同语言参考标准（CEFR）及复杂程度标注了层级标签。当前前沿研究聚焦于利用该数据集训练可读性分类模型，以自动化判别西班牙语文本的难度等级，进而支持个性化学习路径推荐与教材适配。该数据集的出现填补了西班牙语可读性资源稀缺的空白，推动了低资源语言在教育NLP中的应用探索，尤其对拉美地区数字教育公平化具有深远意义。