HiTZ/latxa-corpus-v2

Latxa Corpus v2是一个大规模的单语巴斯克语语料库，由HiTZ研究中心和IXA研究小组（巴斯克大学UPV/EHU）策划。该语料库结合了经过整理的爬取数据、公共数据集、机构数据和新收集的资源，与v1.1版本相比，显著增加了覆盖范围、多样性和数据量。最终语料库经过去重和过滤，适用于语言模型预训练。数据来源包括Euscrawl v2、Egunkaria日报、Booktegi电子书、ZelaiHandi语料库子集、巴斯克政府官方公报、吉普斯夸省议会官方公报、Álava省议会官方公报、巴斯克议会会议记录、巴斯克学术期刊、巴斯克维基百科、CulturaX语料库的巴斯克部分、Colossal OSCAR语料库的巴斯克部分、FineWeb2语料库的巴斯克部分、FinePDFs语料库的巴斯克部分、HPLT v1和v2语料库的巴斯克部分以及巴斯克语字幕。

Latxa Corpus v2 is a large-scale monolingual Basque corpus, created by combining curated crawls, public datasets, institutional data, and newly collected resources. Compared to v1.1, it substantially increases coverage, diversity, and volume. The final corpus is deduplicated, filtered, and ready for language model pretraining. Data sources include Euscrawl v2, Egunkaria daily newspaper, Booktegi EPUB books, a subset of the ZelaiHandi corpus, the official gazette of the Basque Government, the official gazette of the Provincial Council of Gipuzkoa, the official gazette of the Provincial Council of Álava, transcriptions of Basque Parliament sessions, Basque academic journals, Basque Wikipedia, the Basque portion of the CulturaX corpus, the Basque portion of the Colossal OSCAR corpus, the Basque portion of the FineWeb2 corpus, the Basque portion of the FinePDFs corpus, the Basque portion of the HPLT v1 and v2 corpora, and subtitles in Basque.

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，高质量语料库的构建是推动低资源语言模型发展的基石。Latxa Corpus v2是一个专为巴斯克语设计的大规模单语语料库，由HiTZ研究中心与IXA研究组联合打造。其构建方式以多源数据融合为核心，整合了经过精心筛选的网络爬取数据（如Euscrawl v2）、公共数据集（如Wikipedia、CulturaX、Colossal OSCAR）、官方公报（如BOPV、BOG、BOTHA）、议会会议记录（ParlEus）、学术期刊（Aldizkariak）以及新近收集的资源（如FineWeb2、FinePDFs、HPLT v1/v2）。所有数据经过严格的去重与过滤处理，最终形成适用于语言模型预训练的标准化语料，并按照固定比例划分为训练、验证和测试集。

特点

该数据集在覆盖度、多样性与规模上较前一版本实现了显著跃升，展现出卓越的语料丰富性。其核心特点在于集成了多达14个不同来源的子集，涵盖了从正式法律文本、学术论文到网络通用文本的广泛领域，有效缓解了低资源语言在语料稀缺上的困境。此外，数据集具备高度结构化特征，每个子集均包含独立的元数据字段（如许可证信息），便于用户追溯数据来源与合规性。通过大规模去重与质量过滤，Latxa Corpus v2在保证数据纯净度的同时，大幅提升了巴斯克语模型的预训练效果与泛化能力。

使用方法

使用者可通过HuggingFace Datasets库便捷地加载该数据集。具体操作时，需指定配置名称（config_name）以选择特定子集，例如'wikipedia'、'euscrawl-v2'或'zelaihandi'，并利用split参数获取对应的训练、验证或测试数据。数据集适用于掩码语言建模与文本生成任务，可直接用于训练类似BERT或GPT架构的巴斯克语语言模型。对于需要完整原始数据的研究者，在遵守许可协议的前提下，可通过联系维护团队获取进一步访问权限，从而进行更深层次的定制化分析与模型开发。

背景与挑战

背景概述

在自然语言处理领域，低资源语言的语言模型预训练长期受限于高质量、大规模语料库的匮乏。巴斯克语作为一种非印欧语系的孤立语言，其数字化资源尤为稀缺，严重制约了相关技术的研究进展。为应对这一困境，巴斯克大学HiTZ研究中心与IXA研究团队于近年启动了Latxa Corpus项目，并于2026年2月发布了第二版语料库（Latxa Corpus v2）。该数据集由多个子集构成，涵盖维基百科、官方公报、议会转录文本、学术期刊及网络爬取数据等多元来源，经过严格的去重与过滤，旨在为巴斯克语的语言模型预训练提供坚实的数据基础。Latxa Corpus v2的发布不仅填补了巴斯克语大规模语料库的空白，也为其他低资源语言的资源建设提供了可借鉴的范式，对推动语言多样性与包容性具有深远意义。

当前挑战

Latxa Corpus v2所面临的核心挑战首先体现在领域问题的复杂性上。巴斯克语作为低资源语言，其数据在互联网上的分布极为稀疏且碎片化，如何从有限且异构的源中整合出具有广泛覆盖性与代表性的语料，是构建高质量预训练数据集的关键难题。其次，构建过程中遭遇了多重技术障碍：不同来源的数据格式各异（如PDF、网页、转录文本等），需设计统一的解析与清洗流程；官方公报与学术期刊中存在大量非标准排版与噪声信息，增加了提取难度；同时，为遵守版权与隐私法规，部分数据点已被移除，如何在数据完整性与合规性之间取得平衡，亦是研究团队必须持续应对的挑战。

常用场景

经典使用场景

在低资源语言的自然语言处理领域，HiTZ/latxa-corpus-v2 最经典的使用场景是作为大规模巴斯克语单语语料库，用于预训练自回归语言模型（如 GPT 类架构）或掩码语言模型（如 BERT 类架构）。该数据集整合了来自 Wikipedia、Euscrawl v2、官方公报、议会转录文本、学术期刊以及多个大规模多语语料库（如 CulturaX、FineWeb2、HPLT 等）的巴斯克语子集，经过严格的去重与过滤，为巴斯克语这一形态丰富且资源稀缺的语言提供了高质量的预训练数据基础。研究者可直接使用其提供的训练、验证与测试划分，进行语言模型的从头训练或领域适应微调，从而推动低资源语言在自然语言理解与生成任务上的性能突破。

衍生相关工作

HiTZ/latxa-corpus-v2 的发布催生了一系列后续研究工作。最直接的衍生工作是巴斯克语专用语言模型 Latxa 系列（如 Latxa-7B、Latxa-13B 等），这些模型基于该语料库进行预训练，并在巴斯克语下游任务（如文本分类、命名实体识别、问答）中取得了显著性能提升。此外，该数据集促进了跨语言迁移学习研究，例如利用其与多语语料库（如 FineWeb2）的联合训练来探索巴斯克语在零样本场景下的表现。它还激发了关于低资源语料库构建方法论的研究，包括数据去重策略、领域平衡采样与版权合规处理，相关成果已在 EMNLP、ACL 等顶级会议中发表。

数据集最近研究

最新研究方向

围绕低资源语言大模型预训练语料构建这一前沿方向，Latxa Corpus v2的发布标志着巴斯克语自然语言处理领域迈入规模化、高质量数据整合的新阶段。该数据集融合了官方公报、学术期刊、议会转录及多轮网络爬取等十余种异构来源，通过系统性去重与过滤策略，显著提升了语料的覆盖度与多样性。在低资源语言大模型能力提升的全球热点背景下，Latxa Corpus v2不仅为巴斯克语基础模型的训练提供了坚实的数据基石，更对推动语言技术平等、保护濒危语言数字化生态具有深远意义，成为连接语言资源建设与多模态语言模型研究的关键桥梁。