Doc-PP (Document Policy Preservation Benchmark)
收藏资源简介:
Doc-PP是由韩国中央大学团队构建的多模态文档政策保护基准数据集,旨在评估大型视觉语言模型在复杂跨模态推理场景下对用户定义的非披露政策的遵守能力。该数据集包含635条从真实世界PDF文档(如财务报告、行业报告)中提取的样本,每条样本均包含文本和视觉元素,并配有明确的保密政策及需跨模态推理的查询。数据通过三阶段流程构建:首先生成候选保密目标并过滤,随后创建目标对齐的文档片段,最后设计显式和隐式查询以测试政策合规性。该数据集主要应用于文档级问答系统的安全性和合规性研究,解决动态政策约束下的敏感信息泄露问题。
Doc-PP is a multimodal document policy protection benchmark dataset constructed by a team from Chung-Ang University, South Korea, aiming to evaluate the compliance of large vision-language models with user-defined non-disclosure policies in complex cross-modal reasoning scenarios. This dataset contains 635 samples extracted from real-world PDF documents such as financial reports and industry reports. Each sample includes both textual and visual elements, paired with explicit confidentiality policies and queries requiring cross-modal reasoning. The dataset is built via a three-stage workflow: first, generate and filter candidate confidentiality targets; second, create target-aligned document fragments; finally, design both explicit and implicit queries to test policy compliance. This dataset is primarily applied to safety and compliance research of document-level question answering systems, addressing the issue of sensitive information leakage under dynamic policy constraints.
Doc-PP: Document Policy Preservation Benchmark 数据集概述
数据集简介
Doc-PP 是一个用于评估大型视觉语言模型(LVLMs)在处理多模态文档时,能否遵守用户定义的保密策略的基准。该基准揭示了一个“推理引发的安全漏洞”:当需要复杂推理或跨模态合成时,模型经常泄露敏感信息。为应对此问题,研究提出了 DVA(分解-验证-聚合)结构推理框架,该框架将推理与策略验证解耦,其性能显著优于标准提示防御方法。
数据内容与结构
数据集包含基准JSON文件和对应的PDF文档。
- 主要数据文件:
02_final_faithfulness_checklists.json(基准JSON文件)。 - 文档文件:位于
docs_clip/目录下的多个*.pdf文件。 - 数据获取:原始数据以分卷压缩文件形式提供(
data.zip,data.z01~data.z06),需按说明合并并解压。
数据来源
本基准中使用的文档基于以下公开数据集:
- MMLongBench-Doc (https://proceedings.neurips.cc/paper_files/paper/2024/hash/ae0e43289bffea0c1fa34633fc608e92-Abstract-Datasets_and_Benchmarks_Track.html)
- SustainableQA (https://arxiv.org/abs/2508.03000)
使用与评估
数据集用于模型评估、评分及缓解策略测试。
- 模型评估:生成模型对文档问题的回答。
- 评分:使用LLM作为评判者对评估结果进行打分。
- 缓解策略:运行包括DVA在内的多种防御策略进行测试。
相关资源
- 研究论文:https://arxiv.org/abs/2601.03926
- 代码与数据仓库:https://github.com/hwanchang00/doc-pp




