ZurichNLP/SimpEvalDE

SimpEvalDE是一个组合的德语文本简化评估数据集，用于训练和评估DETECT指标。该数据集基于专有的APA-LHA和DePLAIN-APA语料库构建，需要从各自作者处获取权限。数据集通过四个步骤创建：合并专有源、加入手动分类/对齐、为每行添加六个ATS生成、添加基于LLM的度量监督和人工评分。数据集包含训练和测试分割，分别有600和360行数据。每行数据包含原始句子、参考简化、一个ATS简化、生成模型ID、LLM监督分数和人工评分（仅测试集）。

SimpEvalDE is a composed German text simplification evaluation dataset assembled to train and evaluate the DETECT metric. The dataset builds on the proprietary APA-LHA and DePLAIN-APA corpora, which must be requested from their respective authors. It is created in four steps: merging proprietary sources, joining with manual categorization/alignment, adding six ATS generations per row, and adding LLM-based metric supervision & human grades. The dataset includes train and test splits with 600 and 360 rows respectively. Each row contains the original sentence, reference simplifications, one ATS simplification, the generator model ID, LLM supervision scores, and human grades (test split only).

搜集汇总

数据集介绍

构建方式

SimpEvalDE数据集的构建遵循一套精密的流水线范式，其根基植根于两个需申请授权的专有德语语料库——APA-LHA与DePLAIN-APA。研究者首先通过合并与手动标注分类流程，筛选出高质量的原句与参考简化对；随后，利用六种涵盖多语言及德语专属的大语言模型（如LeoLM、DiscoLlama、Qwen2-7B-Instruct等），为每个原句生成六种不同的自动文本简化候选。此外，数据集还纳入了基于大语言模型的评价分数作为监督信号，并辅以人工评分构成测试集的黄金标准，最终整合为一个结构化的评价资源。

使用方法

使用SimpEvalDE数据集的首要条件是向原始语料库版权方申请访问权限，并按照Dataset_Generation.ipynb笔记本中指定的路径放置原始文件。完成数据准备后，用户可通过运行该Jupyter笔记本自动拼接生成最终的训练和测试CSV文件。加载数据集时，推荐采用Pandas库的read_csv()函数直接读取生成的文件，其中每一行代表一个原句与单一简化文本的配对，并携带完整的评分元信息。此外，用户可借助提供的LLM评分和人工评分子集，快速开展评估指标的开发或对比实验。

背景与挑战

背景概述

SimpEvalDE是一个面向德语文本简化的复合型评估数据集，由苏黎世大学自然语言处理研究团队于2026年前后创建，核心研究问题在于构建一个可靠、可复现的德语自动文本简化（ATS）评估基准，以支撑DETECT指标的训练与验证。该数据集基于两个专有语料库——APA-LHA（Spring等人，2021）和DePLAIN-APA（Stodden等人，2023），并集成了六种不同大语言模型生成的简化结果以及基于大语言模型的监督信号与人工评分。SimpEvalDE的诞生填补了德语ATS领域高质量、标准化评估资源的空白，其复合式构建理念和透明复现机制为后续相关研究树立了重要范式，在德语自然语言处理与可读性研究领域具有深远影响力。

当前挑战

SimpEvalDE所解决的领域问题是德语文本简化系统缺乏统一、可信的评估标准，现有评价指标多依赖单一维度或通用语言模型，难以准确衡量简化后的文本在简单性、意义保持与流畅性等关键维度的综合表现。数据集构建过程中面临两大挑战：其一，源语料APA-LHA和DePLAIN均为专有数据集，需单独向作者申请授权才能获取原始数据，这显著增加了复现门槛；其二，为生成多样化的简化文本，需调用多种大语言模型并配置不同参数（如LeoLM的温度与top_p值），同时协调人工评分与机器监督信号之间的对齐，确保标签一致性，对数据质量控制提出极高要求。

常用场景

经典使用场景

SimpEvalDE是德语文本简化评估领域的标杆性数据集，其核心应用场景在于基于参考的自动文本简化（ATS）质量评估。该数据集通过构建包含原始复杂句子、多条参考简化文本以及六种不同模型生成的简化输出的三元组结构，为研究者提供了一个标准化、多维度的评估平台。借助其涵盖人工评分与大语言模型监督信号的双重标注体系，SimpEvalDE在训练和评测德语简化系统的准确性、流畅性与意义保留度方面发挥着不可替代的作用，成为德语自然语言处理中文本简化研究的标准测试基准。

解决学术问题

该数据集精准回应了德语文本简化评估中长期存在的学术痛点：缺乏高质量、可复现且包含多源生成与细粒度人工标注的统一评估基准。SimpEvalDE通过整合专有语料库APA-LHA和DePLAIN的专家标注，并纳入六种前沿生成模型（包括专用德语模型LeoLM、DiscoLlama及多语言模型Qwen2、Llama-3）的输出，系统解决了简化质量评估中参考稀少、生成多样性不足和评分标准不统一的问题。其引入的大语言模型监督信号与人工评分的联合设计，更是为构建无参考评估指标提供了宝贵的研究基础，推动了德语文本简化领域从单一人工评价向自动化、可扩展评估范式的学术转型。

实际应用

在实际应用层面，SimpEvalDE为德语地区的无障碍信息传播与技术开发提供了坚实支撑。其可以直接赋能面向认知障碍人群、非母语学习者及老年读者的智能文本简化系统的质量监控。例如，公共机构可将基于该数据集训练的评估工具嵌入政务网站的内容简化流程中，确保复杂法律条文或医疗指南在保持原意的同时被有效转化为易懂文本。教育科技企业亦能借此优化德语教材的自动分级系统，实现从B2到A2级别的精准简化。此外，该数据集在新闻媒体自动化摘要、技术文档易读性改进及多语言简化模型跨语言迁移评估中也展现出广泛的应用潜力。

数据集最近研究

最新研究方向

SimpEvalDE是专为德语文本简化评估任务构建的组合型数据集，通过融合APA-LHA与DePLAIN两大专有语料库，并引入LeoLM、DiscoLlama、Qwen2-7B和Llama-3-8B等前沿大语言模型生成的六种自动简化文本，为德语简化研究提供了高质量的多维度基准。数据集在生成过程中不仅保留了专家标注的参考简化，还整合了多个LLM提供的简洁性、语义保留度与流利度评分信号，以及人工评审结果，为自动评估指标DETECT的训练与验证奠定了坚实基础。当前研究热点聚焦于利用该数据集训练能够同时预测多个质量维度的自动化评估模型，从而推动德语文本简化评估从人工依赖迈向自动化、细粒度且可复现的新阶段，对低资源语言的自然语言处理能力提升具有深远意义。