dodf-saude-qa

DODF Public Health QA 是一个用于评估检索增强生成（RAG）系统的合成问答数据集。其核心内容聚焦于巴西联邦区官方公报（Diário Oficial do Distrito Federal, DODF）中发布的公共卫生相关官方出版物。数据集专门设计用于处理“位置感知问题”，即针对分布在联邦区58个行政区域的公共卫生设施和服务（如基础卫生单位、紧急护理单位、医院和卫生项目）提出的查询。问题由 Claude Haiku 4.5 模型基于2025年发布的238期 DODF 公报（经过筛选后得到11,735份相关文档）生成，其提示设计由公共卫生专家指导，旨在模拟研究人员、管理者和公民的查询风格。数据集包含两个划分：测试集（350个问答对）和验证集（150个问答对）。每个数据实例包含以下字段：问题（pergunta，巴西葡萄牙语）、基于源文件的参考答案（resposta）、源文档所在的 DODF 章节（secao）、源文档的发布日期（fonte）、文档类型（tipo_documento，如合同、捐赠条款、法令）以及包含版本和日期元数据的完整出版物文本（texto_publicacao）。数据生成后经过严格过滤，包括移除空问答对、确保问题包含目标地点、问题需与公共卫生术语相关，并进行词法基础检查以确保答案内容源于原文。数据集语言为巴西葡萄牙语（pt-BR），采用知识共享署名 4.0 国际许可协议（CC BY 4.0）发布。DODF Public Health QA is a synthetic question-answering dataset designed for evaluating Retrieval-Augmented Generation (RAG) systems. Its core content focuses on official publications related to public health published in the Diário Oficial do Distrito Federal (DODF), the official gazette of the Federal District of Brazil. The dataset is specifically designed to handle location-aware questions, which are queries targeting public health facilities and services (such as basic health units, emergency care units, hospitals, and health programs) distributed across the 58 administrative regions of the Federal District. The questions are generated by the Claude Haiku 4.5 model based on 238 issues of DODF gazettes from 2025 (filtered to 11,735 relevant documents). The prompt design is guided by public health experts to simulate the query styles of researchers, administrators, and citizens. The dataset includes two splits: a test set (350 question-answer pairs) and a validation set (150 question-answer pairs). Each data instance contains the following fields: question (pergunta, in Brazilian Portuguese), reference answer based on source documents (resposta), DODF section where the source document is located (secao), publication date of the source document (fonte), document type (tipo_documento, e.g., contract, donation terms, decree), and the full publication text including version and date metadata (texto_publicacao). The data undergoes rigorous filtering after generation, including removing empty question-answer pairs, ensuring questions include target locations, requiring questions to be related to public health terminology, and performing lexical grounding checks to ensure answer content originates from the source text. The dataset is in Brazilian Portuguese (pt-BR) and is released under the Creative Commons Attribution 4.0 International License (CC BY 4.0).

原始信息汇总

DODF Public Health QA 数据集概述

数据集简介

DODF Public Health QA 是一个面向巴西联邦区官方公报（DODF）公共卫生出版物的合成问答（QA）数据集，主要用于评估检索增强生成（RAG）系统的性能。数据集聚焦于关于公共卫生设施与服务的地理位置感知问题，涵盖巴西联邦区58个行政区域的基本卫生单位（UBS）、紧急护理单位（UPA）、医院和健康项目等。问题基于2025年发布的238期DODF出版物（经筛选后共11,735篇文档），使用Claude Haiku 4.5生成，并由公共卫生专家指导提示设计，以模拟研究人员、管理者和公民的提问风格。

数据集结构

数据集包含两个划分：

划分	规模	描述
test	350对	最终评估集
validation	150对	用于提示优化和超参数调优

每条样本包含以下字段：

字段	类型	描述
pergunta	string	巴西葡萄牙语的问题
resposta	string	基于源出版物的参考答案
secao	string	源文档对应的DODF章节（如Section I、Section III）
fonte	string	源文档的发布日期
tipo_documento	string	文档类型（如Contract、Term of Donation、Ordinance）
texto_publicacao	string	源出版物的全文，包含期号和日期元数据

数据生成与过滤流程

问答对使用Claude Haiku 4.5（claude-haiku-4-5-20251001）生成，并经过以下过滤步骤：

1. 剔除问题或答案字段为空的样本对。
2. 通过正则匹配移除问题中不包含参考数据集任何目标位置的样本对。
3. 基于关键词启发式方法，丢弃问题与公共卫生术语（如 saúde、UBS、hospital、SUS）无词汇关联的样本对。
4. 通过词汇基准检查验证答案中至少30%的词汇出现在源文本中，以减轻幻觉响应。

最终，共生成580个Type-I和376个Type-II原始样本对，分别有80个和76个在后期处理中被丢弃。之后，随机选取350对作为测试集，150对作为验证集。

源语料库

出版物收集自2025年发布的238期DODF，优先选取第I和第III章节（涉及政府行为、合同、公共卫生政策和行政决策），排除第II章节（内部人事事务）。经过基于规则的公共卫生相关性过滤后，11,735篇出版物构成了知识库。

语言

巴西葡萄牙语（pt-BR）。

许可协议

本数据集采用 Creative Commons Attribution 4.0 International (CC BY 4.0) 许可协议发布。

引用

若使用该数据集，请引用以下论文：

bibtex @inproceedings{freire2026locationaware, title = {Evaluating Location-Aware {RAG} Approaches for Question Answering over Public Health--Related Content in {Brazilian} Official Gazettes}, author = {Freire, Arthur S. M. and Borges, Vinicius R. P. and Martins, Anna Carolina F. and Vidal, Fl{a}vio de Barros and Araujo, Aleteia and Briga{~{a}}o, Fabr{i}cio R. and Veloso, Gabriel M. and Maia, Edward T. and Martins, Wagner de Jesus and Garcia, Luis P. F.}, booktitle = {36th Brazilian Conference on Intelligent Systems, {BRACIS} 2026, Cuiabá, Mato Grosso, October 19-22 (to appear)}, publisher = {Springer}, year = {2026} }

联系方式

如有疑问或反馈，请联系通讯作者 [e-mail]，或在项目仓库中提交问题。

搜集汇总

数据集介绍

构建方式

该数据集的构建依托于巴西联邦区政府公报《Diário Oficial do Distrito Federal》（DODF）2025年发布的238期官方文本，经筛选后保留11735份与公共卫生直接相关的文件作为知识源。借助Claude Haiku 4.5模型，在公共卫生专家指导下设计提示词，模拟研究者、管理者和公众的提问方式，生成两类问答对：Type-I与Type-II，总数分别为580对和376对。经后处理流程，包括剔除空字段问答、通过正则匹配确保问题包含目标地理位置、基于关键词语义核验问题与公共卫生术语的关联性，以及验证至少30%的答案词汇出现在源文本中，最终保留500对高质量数据，并随机划分为350对的测试集与150对的验证集。

特点

本数据集聚焦于位置感知型问答，问题涉及联邦区58个行政区域内的基础卫生单元、紧急护理中心、医院及公共卫生项目等设施与服务。每个样本包含六个字段，涵盖问题、答案、源文档的DODF章节、发布日期、文档类型及完整的出版文本，为检索增强生成（RAG）系统评估提供了细粒度的结构化信息。尤为突出的是，数据集通过严格的词汇锚定检验与地域匹配机制，有效降低了模型幻觉风险，确保了答案的可追溯性与证据链完整性。此外，其生成流程融合了专家知识与合成数据技术，兼顾了人工标注的高质量与机器生成的规模效率。

使用方法

作为评估RAG系统在官方公共卫生出版物上表现的标准基准，该数据集特别适合检验模型在位置感知查询中的检索与推理能力。用户可直接加载HuggingFace上的数据分片，通过'pergunta'字段输入问题，利用'texto_publicacao'字段中的完整源文本构建知识库，并对比模型输出与'resposta'字段中的参考答案进行评测。验证集可用于调整提示策略与超参数，测试集则用于最终性能评估。数据集以Creative Commons Attribution 4.0 International许可发布，便于学术界与工业界复现实验并推动巴西葡萄牙语公共卫生领域的自然语言处理研究。

背景与挑战

背景概述

在自然语言处理与信息检索的交叉领域中，检索增强生成（RAG）系统因其能够结合外部知识库与语言模型生成能力而备受关注。然而，现有的评测基准多集中于通用领域或英文语境，缺乏针对特定语言、特定领域及地理空间感知能力的评估资源。DODF Public Health QA数据集应运而生，由巴西利亚大学（UnB）等机构的研究人员于2026年创建，旨在填补这一空白。该数据集以巴西联邦区官方公报（DODF）2025年发布的238期、11,735篇经筛选的公共卫生相关文献为知识源，利用Claude Haiku 4.5模型并辅以公共卫生专家指导的提示设计，生成了500对合成问答对（其中测试集350对、验证集150对）。核心研究问题聚焦于评估RAG系统在官方公共卫生文本上的问答能力，特别是对地理位置的感知与推理能力，涵盖了58个行政区域内的基本卫生单位（UBS）、紧急护理单位（UPA）、医院及卫生项目等内容。该数据集不仅为巴西葡萄牙语语境下的公共卫生信息检索提供了标准化测评工具，也为多语言、低资源场景下的RAG系统研究树立了重要标杆。

当前挑战

该数据集所应对的核心领域挑战在于：官方公报（如DODF）虽为公共卫生政策的权威来源，但其文本体量巨大、内容庞杂，且涉及大量地理实体与跨部门协作信息，导致传统问答系统难以准确提取并定位相关事实。具体而言，数据集构建过程中面临多重困难：首先，原始文献跨越238个版本，需通过规则过滤保留与公共卫生相关的11,735篇文档，排除冗余的内部人事信息（Section II），这对预处理的精度提出了严格要求。其次，为模拟真实用户的提问风格，研究人员需在专家指导下设计提示，使得生成的问题既能涵盖丰富的行政区域与设施类型，又避免模型产生幻觉（如通过词汇检索确保答案中至少30%的令牌存在于源文本）。此外，数据后处理阶段需依次剔除空值、缺乏地理位置关键词或无关公共卫生术语的问答对，最终从956个原始样本中筛选出500个高质量实例，这一多阶段过滤策略虽提升了数据可靠性，却也显著增加了构建成本与复杂性。

常用场景

经典使用场景

在自然语言处理与信息检索领域，检索增强生成（RAG）系统正逐步成为应对复杂问答任务的主流范式。dodf-saude-qa 数据集专为评估此类系统而构建，其核心使用场景聚焦于对巴西联邦区官方公报中公共卫生公告进行基于位置的问答。该数据集包含 500 对由专家引导生成的高质量问答实例，每对均附有原始出版物全文、来源日期及文档类型等元数据，为 RAG 流水线的组件——如检索器的召回能力、生成器的忠实度以及整体推理链的连贯性——提供了系统化的评测基准。尤其适用于衡量模型在处理包含地理实体（如基本卫生单元、紧急护理单元）的细粒度查询时的鲁棒性。

实际应用

在实际应用层面，该数据集的落地场景指向政府公共服务信息的智能化获取。巴西联邦区的决策者、公共卫生管理人员乃至普通公民均可借助基于此数据集优化的 RAG 系统，从海量官方公报中快速检索关于特定行政区的基本卫生单元运营状态、紧急护理服务分布或健康项目细则等信息。例如，系统能够回答“塔瓜廷加行政区共有多少家提供儿科服务的 UBS”这类包含嵌套位置与专科约束的问题，从而辅助基层医疗资源调度、公共服务热线的自动应答以及居民健康资讯的精准推送。这显著提升了碎片化法规文本的可访问性，降低了非专业人士的信息检索门槛。

衍生相关工作

该数据集衍生了一系列推动位置感知智能问答技术的前沿工作。其发布伴随了一篇提交至第 36 届巴西智能系统会议（BRACIS 2026）的学术论文，论文系统比较了多种 RAG 架构在空间受限查询下的性能差异。研究者因此探索了将地理编码器融入检索环节的混合检索策略，以及利用图结构建模行政区域层级关系的文档重排序方法。此外，该数据集催生了针对葡萄牙语低资源场景下的提示工程优化研究，尤其是如何通过领域专家设计的上下文示例增强模型对公共卫生术语的理解。这些工作共同构建了一个评估基准，激发了后续关于跨语言、区域自适应 RAG 系统的系列学术探索。