proxectonos/galician-gec-corpora

Galician GEC Corpora 是一个加利西亚语语法和拼写校正数据集的集合，该仓库将多个句子级校正对来源分组到一个Hugging Face数据集仓库中，每个来源作为一个单独的配置公开。每个实例包含一个错误的或非标准的加利西亚语句子及其校正版本，部分子集还包括错误标签、校正标签、编辑元数据或解释。该数据集旨在用于加利西亚语的语法错误校正、拼写校正和文本校正系统的训练、评估和分析。数据集包含五个配置：che_pairs（专注于加利西亚语附着代词放置的小型目标子集）、cortegal（基于CORTEGAL风格校正示例的标准化版本）、gec_synthetic（包含错误类别、标签和解释的合成语法错误校正数据集）、parlamint_punctuation（源自加利西亚议会文本的标点校正对）和wikipedia_breobot（源自加利西亚维基百科/Breobot编辑的校正对）。数据以JSONL格式分发，总共有约120,817个校正对。

Galician GEC Corpora is a collection of Galician grammatical and orthographic correction datasets. The repository groups several sources of sentence-level correction pairs in a single Hugging Face dataset repository, with each source exposed as a separate configuration. Each instance contains an incorrect or non-standard Galician sentence and its corrected version. Some subsets also include error labels, correction tags, edit metadata, or explanations. The dataset is intended for training, evaluating, and analysing grammatical error correction, orthographic correction, and text correction systems for Galician. The dataset contains five configurations: che_pairs (a small targeted subset focused on Galician clitic placement), cortegal (a normalized version of CORTEGAL-style correction examples), gec_synthetic (a synthetic Galician grammatical error correction dataset with error categories, tags, and explanations), parlamint_punctuation (punctuation-focused correction pairs derived from Galician parliamentary text), and wikipedia_breobot (correction pairs derived from Galician Wikipedia/Breobot edits). The data is distributed in JSONL format, with a total of approximately 120,817 correction pairs.

搜集汇总

数据集介绍

构建方式

Galician GEC Corpora 是一个面向加利西亚语的语法与正字法错误修正语料库集合，汇聚了来自多个异质性来源的句子级修正配对。该数据集将五类资源整合于单一HuggingFace仓库中，每种资源以独立配置形式暴露。其构建过程秉持标准化与兼容性导向，所有实例均统一采用“incorrect”与“correct”核心字段表征修正关系，并视来源特点保留错误类型、修正标签、编辑元数据乃至自然语言解释等附加信息。具体而言，che_pairs聚焦于代词附缀位置等特定现象，cortegal衍生自归一化的CORTEGAL风格修正样例，gec_synthetic通过合成方法生成，parlamint_punctuation植根于加利西亚议会文本的标点修正，wikipedia_breobot则从维基百科编辑中提取修正对。各配置来源与生成策略迥异，体现了语料库在领域覆盖与噪声水平上的精心设计。

特点

该数据集的最显著特征在于其多配置架构与丰富的元数据层次，为低资源语言的错误修正研究提供了稀缺的高质量资源。总计约十二万条修正配对横跨代词位置、标点规范、语法错误等多元维度，其中wikipedia_breobot子集贡献了规模最大的八万余条实例。数据以JSONL格式存储，便于大规模流式加载。每个配置均保留了独特的错误标签体系：cortegal提供细粒度的编辑变更对象，gec_synthetic附有自然语言解释以增强可解释性，che_pairs则包含针对性错误标记。这些字段并非均匀分布，这种异构性反而赋予了研究者按需选择细粒度或粗粒度训练信号的可能性。数据集以CC-BY 4.0许可发布，兼顾开放性与原始语料库的引用义务。

使用方法

该数据集通过HuggingFace Datasets库实现即用式加载，用户可根据研究目标选择特定配置进行实例化。例如，使用load_dataset函数指定'cortegal'配置即可获取归一化修正对，替换为'wikipedia_breobot'则加载维基百科编辑修正数据。所有配置均提供'train'分片，适合直接用于训练或评估。数据集天然适用于序列到序列的文本修正任务，亦可作为指令微调数据，因为每条实例均包含'prompt'字段。研究者可按需筛选含有'error_type'或'explanation'字段的样例以进行错误类型分析或可解释性研究。值得注意的是，不同配置的分布差异显著，因此建议避免简单合并各子集，而应依据具体研究场景选择单一配置或设计精细的混合策略。

背景与挑战

背景概述

在自然语言处理领域，语法错误纠正（GEC）作为提升文本质量与语言规范性的关键技术，长期受限于高质量标注资源的匮乏，尤其是对于低资源语言而言。加利西亚语作为一种使用者相对较少的罗曼语族语言，其计算语言学研究长期面临数据稀缺的困境。2024年前后，由Proxecto Nós研究团队主导创建的Galician GEC Corpora应运而生，旨在为这一语言构建首个系统化的语法与正字法错误纠正数据集。该数据集整合了来自维基百科、议会文本、合成数据及针对性纠错资源等五个子集，共计约12万条句子级纠正对，填补了加利西亚语语言技术领域的基础资源空白，为后续模型训练与评估提供了关键支撑，对促进该语言的数字化生存与人工智能包容性发展具有里程碑意义。

当前挑战

该数据集所面临的核心挑战在于其服务的低资源语言环境下构建高质量GEC系统的固有困难。从领域问题来看，加利西亚语缺乏大规模标准标注语料，导致监督式GEC模型的训练数据严重不足，同时该语言在形态句法层面（如附着词位置、标点规范）存在独特性，通用模型难以直接适配。从构建过程而言，数据集整合了来源迥异的资源，包括自动抽取的维基百科编辑、合成生成语料与人工规范化的议会文本，各子集间的错误分布与注释噪声差异显著，例如合成数据可能反映生成模型的固有偏差，而议会文本则带有特定领域风格。此外，元数据字段的不统一与部分子集规模极小（如che_pairs仅50例），进一步增加了模型泛化与可靠评估的难度。

常用场景

经典使用场景

在低资源语言的自然语言处理研究中，加利西亚语语法纠错语料库（Galician GEC Corpora）为训练和评估语法纠错模型提供了至关重要的基准资源。该数据集汇聚了来源于维基百科编辑记录、议会文本标点修正、合成噪声数据等多个渠道的逾十二万条句子级纠错对，覆盖代词位置、标点规范、拼写规范等典型错误类型。研究者可基于其多样化的子集配置，如面向代词附着现象的che_pairs或聚焦议会议事录标点规范的parlamint_punctuation，开展针对性的模型微调与跨域泛化能力测试，从而推动加利西亚语等小语种在文本自动校对领域的技术突破。

衍生相关工作

该数据集催生了若干具有启发性的后续研究方向。一方面，基于其合成数据子集gec_synthetic，研究者可探索提示工程与语言模型在低资源环境下生成高质量纠错伪标签的范本，从而衍生出面向加利西亚语甚至其他伊比利亚罗曼语的噪声数据增强技术。另一方面，parlamint_punctuation与wikipedia_breobot子集的跨域差异特性，为验证纠错模型在议会文件与百科全书两种语体间的迁移鲁棒性提供了天然测试床，由此延伸出关于领域自适应与错误分布校正的算法研究。此外，其多源标注元数据（如error_type与changes字段）也激发了针对纠错过程可解释性分析及编辑级细粒度评估指标的探索，推动了低资源语言自然语言处理评价体系的完善。

数据集最近研究

最新研究方向

在低资源自然语言处理领域，加利西亚语因其有限的标注数据而长期处于研究边缘，而Galician GEC Corpora的构建恰如其分地填补了这一空白，推动了该语言在语法纠错（GEC）前沿方向上的探索。该数据集整合了源自维基百科编辑、议会文本及合成数据的逾12万条纠错对，不仅为弱监督学习与指令微调提供了多样化实验基准，也与近年来大语言模型在多语言公平性与低资源语言复兴中的热点事件紧密呼应。其结构化地覆盖代词位置、标点规范等精细错误类型，使得研究重心得以从通用纠错转向细粒度语言现象分析与可控文本修正，为加利西亚语的数字化保护与自然语言处理生态的可持续发展奠定了坚实基石。