clarin-pl/PUGG

Name: clarin-pl/PUGG
Creator: clarin-pl
Published: 2024-08-12 07:53:43
License: 暂无描述

Hugging Face2024-08-12 更新2024-06-12 收录

下载链接：

https://hf-mirror.com/datasets/clarin-pl/PUGG

下载链接

链接失效反馈

官方服务：

资源简介：

--- annotations_creators: - expert-generated language_creators: [] language: - pl license: - cc-by-sa-4.0 multilinguality: - monolingual size_categories: - 1K<n<10K - 10K<n<100K source_datasets: - original task_categories: - question-answering - text-retrieval task_ids: - extractive-qa - document-retrieval pretty_name: 'PUGG: KBQA, MRC, IR dataset for Polish' tags: - knowledge graph - KBQA - wikipedia - wikidata configs: - config_name: kbqa_all data_files: - split: train path: kbqa/*/train.jsonl - split: test path: kbqa/*/test.jsonl - config_name: kbqa_natural data_files: - split: train path: kbqa/natural/train.jsonl - split: test path: kbqa/natural/test.jsonl - config_name: kbqa_template-based data_files: - split: train path: kbqa/template-based/train.jsonl - split: test path: kbqa/template-based/test.jsonl - config_name: mrc data_files: - split: train path: mrc/train.jsonl - split: test path: mrc/test.jsonl - config_name: ir_corpus data_files: - split: test path: ir/corpus.jsonl - config_name: ir_queries data_files: - split: test path: ir/queries.jsonl - config_name: ir_qrels data_files: - split: test path: ir/qrels/test.jsonl --- # PUGG: KBQA, MRC, IR Dataset for Polish ## Description This repository contains the PUGG dataset designed for three NLP tasks in the Polish language: - KBQA (Knowledge Base Question Answering) - MRC (Machine Reading Comprehension) - IR (Information Retrieval) ## Paper For more detailed information, please refer to our research paper titled: **"Developing PUGG for Polish: A Modern Approach to KBQA, MRC, and IR Dataset Construction"** Authored by: * Albert Sawczyn * Katsiaryna Viarenich * Konrad Wojtasik * Aleksandra Domogała * Marcin Oleksy * Maciej Piasecki * Tomasz Kajdanowicz **The paper was accepted for ACL 2024 (findings).** ## Repositories The dataset is available in the following repositories: * [General](https://huggingface.co/datasets/clarin-pl/PUGG) **(this repository)** - contains all tasks (KBQA, MRC, IR*) For more straightforward usage, the tasks are also available in separate repositories: * [KBQA](https://huggingface.co/datasets/clarin-pl/PUGG_KBQA) * [MRC](https://huggingface.co/datasets/clarin-pl/PUGG_MRC) * [IR](https://huggingface.co/datasets/clarin-pl/PUGG_IR) The knowledge graph for KBQA task is available in the following repository: * [Knowledge Graph](https://huggingface.co/datasets/clarin-pl/PUGG_KG) Note: If you want to utilize the IR task in the BEIR format (`qrels` in `.tsv` format), please download the [IR](https://huggingface.co/datasets/clarin-pl/PUGG_IR) repository. ## Links * Code: * [Github](https://github.com/CLARIN-PL/PUGG) * Paper: * ACL - TBA * [Arxiv](https://arxiv.org/abs/2408.02337) ## Citation ```bibtex @misc{sawczyn2024developingpuggpolishmodern, title={Developing PUGG for Polish: A Modern Approach to KBQA, MRC, and IR Dataset Construction}, author={Albert Sawczyn and Katsiaryna Viarenich and Konrad Wojtasik and Aleksandra Domogała and Marcin Oleksy and Maciej Piasecki and Tomasz Kajdanowicz}, year={2024}, eprint={2408.02337}, archivePrefix={arXiv}, primaryClass={cs.AI}, url={https://arxiv.org/abs/2408.02337}, } ``` ## Contact albert.sawczyn@pwr.edu.pl ## Usage ```python from datasets import load_dataset # loading KBQA (all) dataset = load_dataset("clarin-pl/PUGG", "kbqa_all") print(dataset) # loading KBQA (natural) dataset = load_dataset("clarin-pl/PUGG", "kbqa_natural") print(dataset) # loading KBQA (template-based) dataset = load_dataset("clarin-pl/PUGG", "kbqa_template-based") print(dataset) # loading MRC dataset = load_dataset("clarin-pl/PUGG", "mrc") print(dataset) # loading IR ## corpus dataset = load_dataset("clarin-pl/PUGG", "ir_corpus") print(dataset) ## queries dataset = load_dataset("clarin-pl/PUGG", "ir_queries") print(dataset) ## qrels dataset = load_dataset("clarin-pl/PUGG", "ir_qrels") print(dataset) ```

annotations_creators: - 专家生成 language_creators: [] language: - 波兰语（pl） license: - CC BY-SA 4.0（知识共享署名-相同方式共享4.0协议） multilinguality: - 单语言 size_categories: - 1千<样本量<1万 - 1万<样本量<10万 source_datasets: - 原创数据集 task_categories: - 问答 - 文本检索 task_ids: - 抽取式问答 - 文档检索 pretty_name: 'PUGG：面向波兰语的KBQA、MRC、IR数据集' tags: - 知识图谱（knowledge graph） - KBQA - 维基百科（wikipedia） - 维基数据（wikidata） configs: - config_name: kbqa_all data_files: - split: 训练集 path: kbqa/*/train.jsonl - split: 测试集 path: kbqa/*/test.jsonl - config_name: kbqa_natural data_files: - split: 训练集 path: kbqa/natural/train.jsonl - split: 测试集 path: kbqa/natural/test.jsonl - config_name: kbqa_template-based data_files: - split: 训练集 path: kbqa/template-based/train.jsonl - split: 测试集 path: kbqa/template-based/test.jsonl - config_name: mrc data_files: - split: 训练集 path: mrc/train.jsonl - split: 测试集 path: mrc/test.jsonl - config_name: ir_corpus data_files: - split: 测试集 path: ir/corpus.jsonl - config_name: ir_queries data_files: - split: 测试集 path: ir/queries.jsonl - config_name: ir_qrels data_files: - split: 测试集 path: ir/qrels/test.jsonl # PUGG：面向波兰语的KBQA、MRC、IR数据集 ## 数据集概述本仓库包含专为波兰语自然语言处理三大任务设计的PUGG数据集： - KBQA（知识库问答，Knowledge Base Question Answering） - MRC（机器阅读理解，Machine Reading Comprehension） - IR（信息检索，Information Retrieval） ## 相关论文如需获取更详尽的信息，请参阅我们的研究论文： **《面向波兰语的PUGG：KBQA、MRC与IR数据集的现代化构建方法》** 作者： * Albert Sawczyn * Katsiaryna Viarenich * Konrad Wojtasik * Aleksandra Domogała * Marcin Oleksy * Maciej Piasecki * Tomasz Kajdanowicz 本论文已被ACL 2024会议发现版块收录。 ## 仓库分布本数据集可通过以下仓库获取： * [通用仓库](https://huggingface.co/datasets/clarin-pl/PUGG)（本仓库）—— 涵盖全部三大任务（KBQA、MRC、IR*）为便于更直接地使用，各任务已拆分至独立仓库： * [KBQA任务仓库](https://huggingface.co/datasets/clarin-pl/PUGG_KBQA) * [MRC任务仓库](https://huggingface.co/datasets/clarin-pl/PUGG_MRC) * [IR任务仓库](https://huggingface.co/datasets/clarin-pl/PUGG_IR) KBQA任务所需的知识图谱可通过以下仓库获取： * [知识图谱仓库](https://huggingface.co/datasets/clarin-pl/PUGG_KG) 注意：若需使用BEIR格式的IR任务（即`.tsv`格式的`qrels`文件），请下载[IR任务仓库](https://huggingface.co/datasets/clarin-pl/PUGG_IR)。 ## 相关链接 * 代码： * [GitHub仓库](https://github.com/CLARIN-PL/PUGG) * 论文： * ACL会议——待公布 * [Arxiv预印本](https://arxiv.org/abs/2408.02337) ## 引用格式 bibtex @misc{sawczyn2024developingpuggpolishmodern, title={Developing PUGG for Polish: A Modern Approach to KBQA, MRC, and IR Dataset Construction}, author={Albert Sawczyn and Katsiaryna Viarenich and Konrad Wojtasik and Aleksandra Domogała and Marcin Oleksy and Maciej Piasecki and Tomasz Kajdanowicz}, year={2024}, eprint={2408.02337}, archivePrefix={arXiv}, primaryClass={cs.AI}, url={https://arxiv.org/abs/2408.02337}, } ## 联系方式 albert.sawczyn@pwr.edu.pl ## 使用示例 python from datasets import load_dataset # 加载全量KBQA数据集 dataset = load_dataset("clarin-pl/PUGG", "kbqa_all") print(dataset) # 加载自然语言KBQA数据集 dataset = load_dataset("clarin-pl/PUGG", "kbqa_natural") print(dataset) # 加载基于模板的KBQA数据集 dataset = load_dataset("clarin-pl/PUGG", "kbqa_template-based") print(dataset) # 加载MRC数据集 dataset = load_dataset("clarin-pl/PUGG", "mrc") print(dataset) # 加载IR数据集 ## 语料库 dataset = load_dataset("clarin-pl/PUGG", "ir_corpus") print(dataset) ## 查询集 dataset = load_dataset("clarin-pl/PUGG", "ir_queries") print(dataset) ## 相关性标注文件 dataset = load_dataset("clarin-pl/PUGG", "ir_qrels") print(dataset)

提供机构：

clarin-pl

原始信息汇总

PUGG: KBQA, MRC, IR 数据集概述

数据集描述

本数据集名为PUGG，是根据研究论文《Developing PUGG for Polish: A Modern Approach to KBQA, MRC, and IR Dataset Construction》创建的，该论文由以下作者撰写：

Albert Sawczyn
Katsiaryna Viarenich
Konrad Wojtasik
Aleksandra Domogała
Marcin Oleksy
Maciej Piasecki
Tomasz Kajdanowicz

该论文已被ACL 2024（Findings）接受。

数据集用途

PUGG数据集旨在支持波兰语的KBQA（知识库问答）、MRC（机器阅读理解）和IR（信息检索）研究。

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，面向波兰语的知识密集型任务长期缺乏高质量数据集。PUGG数据集正是为填补这一空白而构建，其设计涵盖知识库问答（KBQA）、机器阅读理解（MRC）与信息检索（IR）三大核心任务。构建过程以维基百科与维基数据为底层知识源，由领域专家精心标注生成。KBQA部分细分为自然语言问题与基于模板的问题两类子集，确保问题形式的多样性与真实性；MRC部分则聚焦于从文档中抽取答案；IR部分构建了包含语料库、查询集与相关性判定的完整检索体系。所有数据均以JSONL格式存储，并经由多轮质量控制流程保障标注准确性与一致性。

使用方法

研究者可通过Hugging Face Datasets库便捷加载PUGG数据集。使用load_dataset函数并指定配置名称即可获取对应子集，例如加载全部KBQA数据需传入'kbqa_all'参数，加载MRC数据则使用'mrc'配置。对于信息检索任务，需分别加载语料库（ir_corpus）、查询集（ir_queries）与相关性判定（ir_qrels）三个配置。若需使用BEIR格式的qrels文件，建议直接访问专用的IR子仓库。所有子集均包含明确的训练集与测试集划分，可直接用于模型训练与评估。数据以JSONL格式组织，每行对应一个独立样本，便于流式处理与分布式加载。

背景与挑战

背景概述

在自然语言处理领域，面向低资源语言的数据集构建一直是推动技术公平性与普适性的关键挑战。由波兰弗罗茨瓦夫理工大学与克拉科夫理工大学等机构的研究人员（Albert Sawczyn、Katsiaryna Viarenich、Konrad Wojtasik、Aleksandra Domogała、Marcin Oleksy、Maciej Piasecki、Tomasz Kajdanowicz）于2024年创建的PUGG数据集，专为波兰语设计，旨在弥合知识库问答、机器阅读理解与信息检索三大核心任务的资源鸿沟。该数据集以维基百科与维基数据为知识源，通过专家标注与模板生成相结合的方式，构建了覆盖自然问句与模板化问句的多样化样本，其研究论文已被ACL 2024 Findings收录，为波兰语乃至其他低资源语言的NLP研究提供了重要的基准资源。

当前挑战

PUGG数据集面临的核心挑战体现在多个层面。在领域问题层面，波兰语作为形态丰富且资源相对匮乏的语言，其知识库问答任务需应对复杂实体链接与语义解析的难题，机器阅读理解则需处理长文本中跨越句子的推理需求，而信息检索任务在缺乏大规模标注语料的情况下，难以实现高精度的文档排序。在构建过程中，团队需克服专家标注成本高昂与模板生成可能引入的噪声，同时确保知识图谱与问句之间的语义对齐精度，以及跨任务数据的一致性与可复用性。此外，如何平衡自然问句与模板问句的比例以兼顾真实性与覆盖度，亦是构建中的关键挑战。

常用场景

经典使用场景

PUGG数据集为波兰语自然语言处理领域提供了三合一的高质量评测基准，涵盖知识库问答（KBQA）、机器阅读理解（MRC）与信息检索（IR）三大经典任务。在知识库问答场景中，数据集细分为自然语言问题与模板生成问题两种配置，能够全面评估模型在复杂语义解析与结构化知识推理上的能力。机器阅读理解部分则聚焦于抽取式问答，要求模型从波兰语维基百科段落中精准定位答案片段。信息检索子集采用BEIR兼容格式，支持文档检索与查询相关性判定，为跨任务迁移学习研究奠定了坚实基础。该数据集特别适合用于波兰语低资源场景下的多任务联合训练与零样本评测，成为波兰语NLP研究社区不可或缺的标准测试平台。

解决学术问题

PUGG数据集有效填补了波兰语在知识驱动型自然语言理解任务中高质量标注数据的长期空白。在学术层面，它解决了三个关键问题：其一，为波兰语知识库问答提供了首个融合Wikidata知识图谱的大规模标注数据，使研究者能够系统探究语言特异性对语义解析的影响；其二，机器阅读理解子集通过维基百科原文标注，支撑了抽取式问答模型在形态丰富语言中的泛化性研究；其三，信息检索部分统一了检索与问答的评测范式，推动了跨任务知识迁移的理论发展。该数据集的发布显著降低了波兰语NLP实验的重复构建成本，并促进了多语言模型在斯拉夫语族上的公平比较，对低资源语言处理研究具有里程碑式的推动意义。

实际应用

在实际应用中，PUGG数据集为波兰语智能信息系统的开发提供了直接支撑。基于该数据训练的KBQA模型可部署于波兰语智能客服、政务知识问答及法律条文检索系统，实现从自然语言到结构化知识的无缝查询。机器阅读理解组件能够赋能波兰语教育领域的自动答题系统，辅助学生从教材文档中快速提取关键信息。信息检索子集则适用于企业级波兰语文档搜索引擎的优化，提升特定领域（如医疗、金融）的检索精度。此外，该数据集的多任务联合特性使其成为波兰语虚拟助手与对话式搜索引擎的核心训练资源，推动了波兰语自然语言处理技术从实验室走向产业落地。

数据集最近研究