proxectonos/dog-rag

该数据集包含从西班牙加利西亚自治区官方公报（Diario Oficial de Galicia, DOG）的出版物中提取的问题-答案三元组。每个示例基于真实的法律和行政文档，涵盖公共就业、住房补贴、文化遗产和机构法规等多个领域。数据集主要用于评估检索增强生成（RAG）系统，每个示例包含一个或多个上下文段落以及释义的问题和答案，可用于测试系统是否能正确检索信息并生成响应。此外，它也适用于标准的问答任务（包括抽取式和生成式）。所有数据均为加利西亚语，因此对多语言或低资源自然语言处理研究具有价值。数据集包括三个配置：triplets（默认QA三元组）、dog（简化版文档数据）和dog_metadata（带元数据的文档数据），每个条目包含唯一标识符、源文档信息、URL、问题列表、答案列表、上下文列表和类别字段。This dataset contains question–answer triplets derived from publications of the Diario Oficial de Galicia (DOG), the official gazette of the autonomous community of Galicia (Spain). Each example is grounded in real legal and administrative documents, covering a wide range of domains such as public employment, housing subsidies, cultural heritage, and institutional regulations. The dataset is primarily intended for evaluating Retrieval-Augmented Generation (RAG) systems, with each example including one or more context passages along with paraphrased questions and answers, making it useful for testing retrieval and generation capabilities. It can also be used for standard question answering (QA) tasks, both extractive and generative. All data is in Galician, making it relevant for multilingual or lower-resource NLP settings. The dataset includes three configurations: triplets (default QA triplets), dog (simplified document data), and dog_metadata (document data with metadata), with each entry containing fields such as uid, file_name, url, question list, answer list, context list, and category.

搜集汇总

数据集介绍

构建方式

该数据集源自西班牙加利西亚自治区官方公报《Diario Oficial de Galicia》的出版物，通过从真实的行政与法律文献中提取问题-答案三元组构建而成。每个样本包含一个或多个上下文段落及其对应的释义问题和答案，覆盖公共就业、住房补贴、文化遗产及机构法规等多领域。数据集的构建不仅保留了原始文档的完整内容，还提供了两种版本：精简版文档与附有元数据的增强版文档，便于用户根据检索与生成任务的需求灵活选用。

特点

DOG-RAG数据集专为评估检索增强生成系统而设计，其特点在于每个样本均基于真实的法律与行政文本，答案需从上下文中精准提取或推理得出。数据集中包含多种问答类型，如直接事实提取、需跨片段聚合的稀疏上下文、表格信息抽取等，能够全面检验系统在信息检索与生成中的准确性。此外，所有数据均为加利西亚语，为多语言及低资源自然语言处理研究提供了宝贵的评价基准。

使用方法

用户可通过HuggingFace Datasets库便捷加载该数据集，默认加载三元组部分，也可指定加载`dog`或`dog_metadata`配置以获得原始文档。数据集支持多种使用场景：既可应用于标准的抽取式或生成式问答任务，也可用于构建自定义检索索引、探索不同的文本分块策略，并能在更现实的条件下评估端到端的检索增强生成流水线。所有样本均配有唯一标识符、源文档链接及分类标签，便于系统化实验与分析。

背景与挑战

背景概述

在自然语言处理领域，检索增强生成（RAG）技术通过整合外部知识库显著提升了大型语言模型在知识密集型任务中的表现，然而该技术的评估多集中于英语及高资源语言，针对低资源语言与特定领域（如法律文本）的基准数据集仍显匮乏。为填补这一空白，Pablo Rodríguez等研究者于2026年构建了DOG-RAG数据集，其依托西班牙加利西亚自治区官方公报《Diario Oficial de Galicia》的行政与法律出版物，系统性地提取了覆盖公共就业、住房补贴、文化遗产等多领域的问答三元组。该数据集不仅为加利西亚语的RAG系统评估提供了标准化基准，亦推动了低资源语言与多语言场景下的NLP研究发展。

当前挑战

该数据集首先应对的法律领域核心挑战在于，司法与行政文本常包含嵌套条款、引用关系及结构化表格信息，传统模型难以精准定位分散于多段落的关键证据，而DOG-RAG通过设计“sparsed_context”类别迫使系统聚合破碎上下文进行推理。构建过程中，语料的稀缺性构成显著障碍：加利西亚语作为低资源语言，缺乏公开可用的法律文本解析工具与领域知识库，导致数据标注需依赖双语专家人工解读晦涩的法规表述。此外，官方公报的排版多样性与表格数据非结构化特性，要求团队开发专门的提取管线以平衡自动化扩展与高保真度，从而保证三元组中问题与答案的语义一致性及上下文完整性。

常用场景

经典使用场景

DOG-RAG 数据集专为评估检索增强生成（RAG）系统而设计，其核心使用场景在于衡量模型能否从庞杂的官方公报文档中精准检索到相关信息，并基于上下文生成准确、连贯的回答。该数据集中的每个样本均包含来自《加利西亚官方公报》的真实法律与行政文本片段，并配有多组同义改写的问题与答案。研究者通常利用这一资源测试端到端RAG管道的检索精度与生成质量，尤其关注系统在应对跨片段信息聚合、表格数据解析以及需要深层推理的复杂查询时的表现。此外，由于数据以加利西亚语呈现，该基准也为低资源语言的自然语言处理研究提供了宝贵的评测工具。

解决学术问题

在法律人工智能与信息检索交叉领域，一个长期存在的难题是如何构建能够处理真实法律文本特有复杂性（如术语精确性、上下文依赖性以及多文档知识融合）的评测基准。DOG-RAG 数据集直面这一挑战，通过提供源自官方公报的问答三元组，系统性地解决了传统问答数据集在领域专业性、语言资源稀缺性以及检索与生成能力联合评估方面的不足。该数据集的提出促进了对于RAG模型在低资源语言环境中鲁棒性与可解释性的学术探讨，其意义在于为加利西亚语乃至其他小语种的法律NLP研究树立了一个可复现的标准化评测流程，从而推动了多语言、多领域智能法律助手的发展。

衍生相关工作

围绕 DOG-RAG 数据集已衍生出一系列卓有成效的后续工作，主要集中在低资源语言RAG系统的优化与法律领域大语言模型的适配研究。衍生工作包括探索不同文档分块策略对检索效果的影响、对比稀疏检索与稠密检索在加利西亚语法律文本上的表现差异，以及开发结合实体链接与知识图谱的增强型检索管线。此外，该数据集也激发了针对多语言RAG模型迁移学习的研究，学者们尝试利用DOG-RAG训练或微调模型，使其在类似西班牙语等语法结构与语义相近的语言上也能完成法律文档的问答任务。部分工作还深入分析了数据集中不同类别（如直接抽取型与跨片段聚合型）样本对模型推理能力的挑战，从而推动了更具可解释性的生成策略设计。