somosnlp-hackathon-2022/readability-es-caes

--- annotations_creators: - other language_creators: - other language: - es license: - cc-by-4.0 multilinguality: - monolingual size_categories: - unknown source_datasets: - original task_categories: - text-classification task_ids: [] pretty_name: readability-es-caes tags: - readability --- # Dataset Card for [readability-es-caes] ## Dataset Description ### Dataset Summary This dataset is a compilation of short articles from websites dedicated to learn Spanish as a second language. These articles have been compiled from the following sources: - [CAES corpus](http://galvan.usc.es/caes/) (Martínez et al., 2019): the "Corpus de Aprendices del Español" is a collection of texts produced by Spanish L2 learners from Spanish learning centers and universities. These text are produced by students of all levels (A1 to C1), with different backgrounds (11 native languages) and levels of experience. ### Languages Spanish ## Dataset Structure Texts are tokenized to create a paragraph-based dataset ### Data Fields The dataset is formatted as a json lines and includes the following fields: - **Category:** when available, this includes the level of this text according to the Common European Framework of Reference for Languages (CEFR). - **Level:** standardized readability level: simple or complex. - **Level-3:** standardized readability level: basic, intermediate or advanced. - **Text:** original text formatted into sentences. ## Additional Information ### Licensing Information https://creativecommons.org/licenses/by-nc-sa/4.0/ ### Citation Information Please cite this page to give credit to the authors :) ### Team - [Laura Vásquez-Rodríguez](https://lmvasque.github.io/) - [Pedro Cuenca](https://twitter.com/pcuenq) - [Sergio Morales](https://www.fireblend.com/) - [Fernando Alva-Manchego](https://feralvam.github.io/)## 数据集元数据 - 注释创建者：其他 - 语言创建者：其他 - 语言：西班牙语（es） - 许可协议：CC BY 4.0 - 多语言属性：单语言 - 数据规模类别：未知 - 源数据集：原始数据集 - 任务类别：文本分类 - 任务子类别：无 - 数据集简称：readability-es-caes - 标签：可读性 --- # 「readability-es-caes」数据集卡片 ## 数据集说明 ### 数据集概览 本数据集收录自面向西班牙语作为第二语言教学的网站上的短篇文章，这些文章的来源如下： - [CAES语料库（CAES Corpus）](http://galvan.usc.es/caes/)（Martínez等，2019）：《西班牙学习者语料库（Corpus de Aprendices del Español，简称CAES Corpus）》收录了来自西班牙语学习中心及高校的西班牙语第二语言学习者（L2 Learners）所撰写的文本。这些文本的作者覆盖全部水平等级（A1至C1），拥有11种不同母语背景，且学习经验各异。 ### 语言说明 西班牙语 ## 数据集结构 文本已完成分词处理，构建为基于段落的数据集。 ### 数据字段 本数据集采用行式JSON（JSON Lines）格式存储，包含以下字段： - **类别**：若可用，则包含依据《欧洲语言共同参考框架（Common European Framework of Reference for Languages，CEFR）》标注的文本等级。 - **等级**：标准化可读性等级：简易或复杂。 - **三级等级**：标准化可读性等级：基础、中级或高级。 - **文本**：已按分句格式整理的原始文本。 ## 附加信息 ### 许可信息 https://creativecommons.org/licenses/by-nc-sa/4.0/ ### 引用说明 请引用本数据集页面以标注作者贡献：) ### 开发团队 - [劳拉·巴斯克斯-罗德里格斯（Laura Vásquez-Rodríguez）](https://lmvasque.github.io/) - [佩德罗·昆卡（Pedro Cuenca）](https://twitter.com/pcuenq) - [塞尔吉奥·莫拉莱斯（Sergio Morales）](https://www.fireblend.com/) - [费尔南多·阿尔瓦-曼切戈（Fernando Alva-Manchego）](https://feralvam.github.io/)

原始信息汇总

数据集概述

数据集描述

数据集总结

本数据集是由专注于学习西班牙语的网站上的短篇文章汇编而成。这些文章主要来源于以下资源：

• CAES corpus (Martínez et al., 2019)：“Corpus de Aprendices del Español”是一个由西班牙语作为第二语言学习者编写的文本集合，这些文本由来自学习中心和大学的学生编写，涵盖所有级别（A1至C1），具有不同的背景（11种母语）和经验水平。

语言

西班牙语

数据集结构

文本已分词，形成基于段落的数据集。

数据字段

数据集采用json lines格式，包含以下字段：

• Category: 根据欧洲共同框架（CEFR），当可用时，包括文本的级别。
• Level: 标准化可读性级别：简单或复杂。
• Level-3: 标准化可读性级别：基础、中级或高级。
• Text: 原始文本，格式化为句子。

附加信息

许可信息

本数据集遵循Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License。

搜集汇总

数据集介绍

构建方式

该数据集由来自西班牙语作为第二语言学习网站的短篇文章汇编而成，主要源自CAES语料库（Martínez等人，2019年），即“西班牙语学习者语料库”。该语料库收集了来自西班牙语学习中心和大学的不同背景学习者（涵盖11种母语）所产出的文本，覆盖A1至C1各级别水平。数据经过分词处理，构建为基于段落的数据集，并以JSON Lines格式存储，包含类别、标准化可读性等级（简单或复杂）、三级可读性等级（基础、中级或高级）以及原始句子化文本字段。

特点

该数据集聚焦于西班牙语文本的可读性分类，具有明确的标准化等级划分，包括二元分类（简单/复杂）和三级分类（基础/中级/高级），便于多粒度分析。其文本来源多样化，涵盖不同语言背景学习者的真实产出，增强了数据的生态效度。此外，数据集采用段落级结构而非整篇文章，有助于细粒度可读性评估，适用于文本难度预测与语言教学研究。

使用方法

该数据集适用于文本分类任务，特别是可读性评估模型的训练与验证。用户可直接加载JSON Lines格式数据，利用‘Text’字段作为输入，结合‘Level’或‘Level-3’标签进行监督学习。建议采用预训练语言模型（如BERT）进行微调，或使用传统机器学习方法提取词汇、句法特征。数据集的段落化设计支持滑动窗口或注意力机制，以提升长文本处理效果。

背景与挑战

背景概述

在自然语言处理领域，文本可读性评估是教育技术、语言习得研究及自适应学习系统的重要基石。由Laura Vásquez-Rodríguez、Pedro Cuenca、Sergio Morales和Fernando Alva-Manchego等研究人员于2022年创建的readability-es-caes数据集，聚焦于西班牙语作为第二语言的学习场景。该数据集基于CAES语料库（Martínez等人，2019），整合了来自西班牙语学习中心和大学中不同母语背景（涵盖11种语言）及CEFR等级（A1至C1）的学习者所产出的短文。其核心研究问题在于构建一个标准化的西班牙语文本可读性分级基准，以弥合语言教学与自动评估之间的鸿沟。这一数据集不仅为西班牙语教育技术提供了关键资源，还推动了多语言可读性研究的发展，成为对比不同语言可读性模型的参照标杆。

当前挑战

当前，readability-es-caes数据集面临多重挑战。首先，在领域问题层面，文本可读性评估本身具有主观性和语境依赖性，CEFR等级与真实阅读难度之间的映射并非线性，且学习者背景差异（如母语、学习时长）会引入噪声，导致分类边界模糊。其次，在构建过程中，数据来源的多样性带来了标签一致性难题：不同来源的文章虽被标准化为段落级样本，但原始文本的CEFR标注可能因教师或评估者标准不同而存在偏差。此外，数据量相对有限（size_categories标注为unknown），且类别分布可能不均衡（如高级文本稀缺），这限制了模型泛化能力。最后，如何将二分类（简单/复杂）与三分类（基础/中级/高级）标签有效融合，以支持更精细的难度预测，仍是技术实现上的关键瓶颈。

常用场景

经典使用场景

在自然语言处理领域，文本可读性评估是衡量语言材料难易程度的核心任务，尤其对于第二语言习得研究具有关键意义。readability-es-caes数据集专为西班牙语文本可读性分类而构建，其经典使用场景在于基于CEFR等级标准对西班牙语学习者文本进行难度分级。研究者常利用该数据集训练文本分类模型，将短文划分为简单或复杂两级，或进一步细分为基础、中级与高级三个层次，从而为语言教学材料的自动适配提供量化依据。

实际应用

在实际应用中，readability-es-caes数据集为西班牙语教育科技产品的智能化升级提供了数据基石。语言学习平台可借助基于该数据集训练的模型自动评估用户生成文本的难度，动态推荐匹配学习者水平的阅读材料。此外，该数据集还可用于开发自适应阅读辅助工具，例如在数字教材中自动标注生词密度或句法复杂度，帮助教师快速筛选适合不同班级的课堂练习，显著提升教学效率与个性化学习体验。

衍生相关工作

基于该数据集的衍生工作主要聚焦于可读性评估模型的多粒度改进与跨任务迁移。研究者以此为基础开发了融合句法、词汇与语义特征的深度学习分类器，并探索了将可读性分级与文本简化生成任务联合训练的范式。此外，该数据集还被用于验证多语言可读性模型的泛化能力，推动了西班牙语与其他罗曼语族语言之间的可读性标准对齐研究，为构建统一的多语种教育评估框架提供了重要参考。