awesome-nlp-polish

这是一个专门针对波兰语自然语言处理（NLP）的精选资源列表，主要收集和整理波兰语文本数据集、模型、工具和论文等资源。合集涵盖多个领域，包括任务导向数据集（如KLEJ基准、PolEval数据集、CDSCorpus、WCCRS情感语料库等）、原始文本语料（如OSCAR语料库、波兰维基百科转储、Opus平行语料库等），以及模型、库和学术资料，旨在为波兰语NLP研究和应用提供全面的数据集索引和推荐。This is a curated resource list specifically tailored for Polish natural language processing (NLP), which primarily collects and organizes resources including Polish text datasets, models, tools and academic papers. The collection spans multiple domains, covering task-oriented datasets such as the KLEJ benchmark, PolEval dataset, CDSCorpus and WCCRS Sentiment Corpus, raw text corpora including the OSCAR corpus, Polish Wikipedia dump and Opus Parallel Corpus, as well as models, libraries and other academic materials. It aims to provide a comprehensive dataset index and recommendation for Polish NLP research and practical applications.

原始信息汇总

波兰语自然语言处理资源汇总

波兰语文本数据集

任务导向型数据集

• KLEJ基准测试：包含9个波兰语语言理解评估任务
• PolEval数据集：
  • 仇恨言论分类任务（2019年Task6），区分正常/无害推文与包含有害信息的推文
• 波兰语CDSCorpus：包含1万对波兰语句子，人工标注语义相关性和蕴含关系
• Wroclaw消费者评论情感语料库（WCCRS）：涵盖酒店、医疗、产品和大学等领域的波兰语评论，标注文本级和句子级情感
• Ermlab Opineo数据集：包含Opineo评论数据
• HateSpeech语料库：包含2000多条从波兰公共网页爬取的帖子
• 波兰语类比数据集：用于词嵌入评估（如"雅典 希腊 巴格达 伊拉克"）
• 波兰国家语料库（NKJP）：包含经典文学、日报、专业期刊、对话转录及互联网文本，小部分语料可下载
• PolEmo 2.0情感分析数据集：用于CoNLL任务
• 波兰音乐数据集：最大的波兰艺术家、歌曲和歌词信息数据集（目前仅包含嘻哈艺术家）

原始文本

• Clean Polish OSCAR：预处理后的波兰语OSCAR语料，已去除外语句子和非有效波兰语句子
• OSCAR语料库：通过对Common Crawl语料进行语言分类和过滤获得的多语言语料库，包含109GB或49GB波兰语文本
• 波兰语维基百科转储：每月定期更新，超过4GB文本
• Opus开放平行语料库：
  • 波兰语OpenSubtitles v2018：4590万句子，2.871亿词元，来自电影字幕
  • ParaCrawl v5：640万句子，1.571亿词元
• 波兰议会语料库（PPC）：包含波兰议会（Sejm和Senate）会议记录文本

模型与嵌入

波兰语Transformer模型

• Polish Roberta Model：基于波兰语维基百科、书籍文章和议会语料训练
• PoLitBert：基于波兰语维基百科、文学作品和OSCAR训练的波兰语RoBERTA模型
• PolBert：波兰语BERT模型，可与Hugging Face Transformers合并使用
• Allegro HerBERT：基于波兰语语料训练，使用仅MLM目标和动态整词掩码
• SlavicBert：多语言BERT模型，涵盖保加利亚语、捷克语、波兰语和俄语，12层结构，1.1亿参数

其他模型

• ELMo嵌入：基于大型文本语料库（KGR10）训练的波兰语ELMo模型
• Zalando Flair波兰语模型：包含前向和后向两种上下文字符串嵌入模型
• IPIPAN Word2Vec波兰语模型：多种预训练词向量
• 弗罗茨瓦夫科技大学Word2Vec：基于不同语料库（KGR10、NKJP、维基百科）训练的分布式语言模型
• FastText波兰语模型：基于Common Crawl和维基百科训练
• FastText KGR10波兰语模型：二进制格式
• 通用句子编码器多语言版：覆盖16种语言（含波兰语）的句子嵌入
• BPEmb子词嵌入：包含波兰语，易于与Flair集成
• ULMFiT（TensorFlow 2.0版）：基于英语和波兰语维基百科转储训练的语言模型

语言处理工具与库

• Morfologik / pyMorfologik：基于词典的形态分析器（Java/Python）
• Morfeusz：形态分析器，另有Elasticsearch插件
• Stempel / pystempel：算法词干提取器（Python），另有Elasticsearch插件
• spaCy for Polish / spacy-pl：扩展spaCy以支持波兰语，集成现有波兰语工具和资源
• KRNNT波兰语形态标注器：基于循环神经网络的波兰语形态标注器
• Stanza：斯坦福大学NLP分析包，支持句子/词元切分、词形还原、词性标注、依存句法分析、命名实体识别，包含波兰语模型
• Duckling：将文本解析为结构化数据的库，支持波兰语
• NLTK句子分词器波兰语缩写列表：基于维基百科文本整理

论文、文章与博客

• 波兰语NLP工具基准测试：包括单/多词词形还原、词性标注、依存句法分析、浅层句法分析、命名实体识别、摘要等
• 波兰语词嵌入和语言模型列表：包含Word2Vec、FastText、GloVe、ELMo等（GitHub仓库）
• 波兰语词嵌入评测：对多种词嵌入方法进行类比任务评估
• 波兰语句子评估：对八种句子表示方法在五个波兰语语言任务上进行评估
• 从零训练RoBERTa指南：使用Hugging Face Transformers训练波兰语语言模型的完整教程

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，波兰语资源曾长期匮乏，为此，研究者们精心构建了awesome-nlp-polish这一综合性资源库。该数据集并非单一语料，而是通过系统梳理和聚合波兰语NLP领域的多元资源而成，涵盖任务导向型数据集（如KLEJ基准测试、PolEval仇恨言论分类语料、波兰语CDSCorpus语义相似度对、Wroclaw情感语料库等）、原始文本语料（如经清洗的波兰语OSCAR语料、维基百科转储、OPUS平行语料及波兰议会文本），以及预训练模型与工具（如Polish RoBERTa、PoLitBert、PolBert、HerBERT等）。其构建方式重在整合与精选，旨在为波兰语NLP研究提供一站式入口。

特点

该资源库的特点在于其系统性与全面性，犹如波兰语NLP领域的“百科全书”。它不仅囊括了从词嵌入（如ELMo、FastText）到Transformer模型（如SlavicBERT）的多种表示学习成果，还覆盖了从形态分析（如Morfologik、Morfeusz）到句法解析（如Stanza、spaCy-pl）的完整工具链。此外，资源库还收录了相关学术论文与博客（如波兰语词嵌入评测、RoBERTa训练指南），为研究者提供了从理论到实践的完整路径。其跨领域的数据集（如音乐、议会、电影字幕）更彰显了波兰语NLP应用的广度。

使用方法

使用者可依据研究需求，从该资源库中灵活选取所需组件。对于语言理解任务，可优先选用KLEJ基准测试中的评估集或PolEval任务数据；若需构建下游模型，则可加载预训练的Polish RoBERTa或HerBERT权重，并结合Hugging Face Transformers库进行微调。工具方面，spaCy-pl和Stanza提供了开箱即用的波兰语处理管道，而Morfologik与Morfeusz则适用于细粒度的形态分析。资源库以GitHub仓库形式维护，支持社区贡献，研究者可通过提交Issue或Pull Request参与资源扩充，共同推动波兰语NLP生态的繁荣。

背景与挑战

背景概述

在自然语言处理领域，针对波兰语这一低资源语言的研究长期面临语料匮乏、标注数据稀缺等困境。为系统整合波兰语NLP资源，Krzysztof Sopyla于2019年发起了awesome-nlp-polish项目，该仓库汇聚了包括KLEJ基准测试、波兰语国家语料库（NKJP）、PolEval竞赛数据集在内的多项核心资源，以及PolBERT、HerBERT等预训练模型与Morfologik等工具。该项目为波兰语文本分类、情感分析、语义推理等任务提供了标准化评估框架，显著推动了波兰语NLP研究的可复现性与社区协作，已成为该领域研究人员与工程师的重要参考索引。

当前挑战

波兰语作为屈折语，其丰富的形态变化和复杂的语法结构对NLP系统构成天然挑战。在数据层面，现有标注数据集规模有限，如CDSCorpus仅含1万句对，HateSpeech语料仅2000余条，难以支撑深度模型的训练需求。构建过程中，非标准文本（如社交媒体中的拼写错误、方言表达）的清洗与规范化处理困难，同时多源异构数据的格式统一、版权合规性也需谨慎应对。此外，预训练模型在特定领域（如法律、医学）的迁移性能不足，且缺乏大规模高质量平行语料以支撑机器翻译等跨语言任务，这些因素共同制约了波兰语NLP技术的实际落地效能。

常用场景

经典使用场景

在波兰语自然语言处理领域，该数据集集合被广泛用于语言理解基准测试，特别是通过KLEJ基准测试集，它涵盖了九项评估任务，包括情感分析、语义相似度计算和自然语言推理等。这些任务为波兰语模型的性能提供了标准化的评估框架。

解决学术问题

该数据集有效解决了波兰语NLP研究中缺乏统一评估标准的问题，通过提供多样化的标注语料（如PolEmo 2.0情感分析数据集和CDSCorpus语义关联数据集），促进了跨研究机构的模型对比与复现，显著推动了波兰语语言模型（如HerBERT和PoLitBert）的学术验证。

衍生相关工作

该数据集催生了多项经典工作，包括波兰语RoBERTa模型（PoLitBert）和基于FastText的嵌入评估研究。此外，波兰语句子表示评估（Polish Sentence Evaluation）工作系统比较了八种嵌入方法在五项语言任务上的表现，为后续模型选择提供了实证基础。