ClaimRAG-LAW

ClaimRAG-LAW 是一个多语言法律基准数据集，旨在评估检索增强生成（RAG）流程以及在法律文本中提取和验证声明的准确性。数据集涵盖两种法律来源：欧盟数据保护法（GDPR，英文）和国家民法（法文），包含两项评估任务：基于问答的RAG评估和声明验证。数据集由四个子数据集组成：GDPR-RAG（186个问答对）、Civil-RAG（131个问答对）、GDPR-CLAIM（520个声明）和Civil-CLAIM（448个声明）。每个子数据集都有详细的字段说明和注释标签，包括答案正确性、问题类别、角色（针对RAG任务）以及声明正确性和蕴含关系（针对声明验证任务）。数据集总规模为317个问答对和968个声明，适用于法律AI、RAG、声明验证和LLM评估等任务。数据集采用CC BY 4.0许可，仅供研究使用。

原始信息汇总

ClaimRAG-LAW 数据集概述

基本信息

• 数据集名称：ClaimRAG-LAW
• 许可证：Creative Commons Attribution 4.0 International (CC BY 4.0)
• 语言：英语、法语
• 任务类别：问答、文本检索
• 标签：法律人工智能、检索增强生成、声明验证、民法、GDPR
• 数据集规模：1K < n < 10K

数据集组成

该数据集包含四个子数据集，涵盖两个法律领域和两种评估任务：

子数据集	文件	任务	领域	语言	规模
GDPR-RAG	GDPR-RAG-LAW.json	问答/RAG评估	欧盟数据保护法	英语	186个查询
Civil-RAG	CIVIL-RAG-LAW.json	问答/RAG评估	国家民法	法语	131个查询
GDPR-CLAIM	GDPR-CLAIM-LAW.json	声明验证	欧盟数据保护法	英语	520个声明
Civil-CLAIM	CIVIL-CLAIM-LAW.json	声明验证	国家民法	法语	448个声明

• 问答对总数：317个（GDPR: 186，民法: 131）
• 声明总数：968个（GDPR: 520，民法: 448）

数据模式

RAG-LAW 数据模式

json { "query_id": "唯一标识符", "query": "关于法律条款的自然语言问题", "relevant_chunk": "从法律来源检索的文本片段", "gt_answer": "专家验证的真实答案", "answer_correctness": "正确/部分正确/不正确", "question_category": "问题类别（用于评估RAG系统）", "persona": "提出该问题的人物角色" }

Claim-LAW 数据模式

json { "query_id": "唯一标识符", "query": "关于法律条款的自然语言问题", "relevant_chunk": "从法律来源检索的文本片段", "gt_answer": "专家验证的真实答案", "claims": [ { "claim": ["主语", "谓语", "宾语"], "claim_correctness": "正确/不正确", "claim_entailment": "蕴含/矛盾/中立" } ] }

标签与标注

RAG-LAW 标签

• 答案正确性：正确 / 部分正确 / 不正确
• 问题类别：一般法律研究、事实回忆、错误前提、管辖/时间特定
• 人物角色：公民、民政官员、法律专家

声明标签

• 声明正确性：提取的声明在逻辑上是否连贯且有意义
• 声明蕴含关系：相对于源文本的蕴含关系：蕴含、矛盾、中立

数据集统计详情

GDPR-RAG-LAW

• 领域：欧盟数据保护法，语言：英语
• 问题数：186个问答对
• 来源：GDPR条款和序言

Civil-RAG-LAW

• 领域：国家民法，语言：法语
• 问题数：131个问答对
• 来源：国家民法典条款

GDPR-CLAIM-LAW

• 领域：欧盟数据保护法，语言：英语
• 声明总数：520个
• 蕴含分布：451个蕴含，151个中立，7个矛盾

Civil-CLAIM-LAW

• 领域：国家民法，语言：法语
• 声明总数：448个
• 蕴含分布：385个蕴含，77个中立，24个矛盾

应用场景

• RAG管道评估：在法律问答场景中端到端评估检索和生成质量
• 声明验证：评估提取声明与源法律条款之间的蕴含分类准确性

伦理考量

• 仅限研究用途：不旨在替代人类法律专业人士或作为法律建议
• 数据隐私：不包含个人或敏感数据，源文档是公开的法律法规文本
• 偏差考虑：专家验证提高了标注质量，但数据集仅限于两个法律来源和两种语言，结果可能不适用于所有司法管辖区或法律体系

许可证

Creative Commons Attribution 4.0 International (CC BY 4.0)

搜集汇总

数据集介绍

构建方式

ClaimRAG-LAW数据集由卢森堡大学研究团队构建，旨在为法律领域的检索增强生成（RAG）与声明验证任务提供多语言基准。数据集覆盖两大法律领域：欧盟数据保护法（GDPR）以英文呈现，以及国家民法以法文呈现。构建过程中，研究团队从公开的法律法规文本（GDPR条款与某国民法典）中提取内容，由法律专家精心设计问题并标注答案，形成RAG评估与声明验证两个子任务。数据集共包含317个问答对（186个GDPR与131个民法）以及968条声明（520个GDPR与448个民法），每个样本均经过专家验证以确保质量。声明部分进一步将自然语言问题拆解为“主体-谓词-客体”三元组形式，并标注其正确性及与源文本的蕴含关系，为细粒度评估提供了结构化基础。

特点

该数据集的核心特点在于其多任务、多层次的法律评估能力。首先，它提供了两种截然不同但互补的任务场景：RAG问答评估衡量模型端到端的检索与生成表现，而声明验证则检测模型对法律文本的理解与推理深度。其次，数据集的标注体系极为精细——RAG部分包含答案正确性（正确/部分正确/不正确）、问题类型（普通法律研究、事实回忆、错误前提、管辖/时间特定）以及提问者角色（公民、公务员、法律专家）三类标签；声明部分则同时从逻辑连贯性和语义蕴含两个维度标注每条声明。这种设计使得用户能够系统性地诊断模型在法律推理中的具体薄弱环节。此外，数据集的法律文本直接源自权威法典，且采用英法双语配置，覆盖了不同法系的语言与结构差异。

使用方法

使用ClaimRAG-LAW数据集时，可通过HuggingFace Datasets库便捷加载，例如以 load_dataset('SNTSVV/ClaimRAG-LAW', 'gdpr-rag') 方式获取GDPR的RAG评估子集，并以类似方式调用民法RAG或声明验证子集。数据以JSON格式存储，RAG子集的每个样本包含查询ID、自然语言问题、相关法律文本片段、专家验证答案及多维标签；声明子集则额外包含三元组声明列表及其正确性与蕴含关系标注。用户可直接利用这些字段评估RAG流水线中检索模块的相关性、生成模块的准确性，或者训练声明蕴含分类器。此外，数据集也支持通过Croissant元数据加载，便于集成到标准化机器学习工作流中。鉴于其仅用于研究目的，使用者应避免将其输出作为法律建议，并注意其覆盖范围局限于两个法域的特点。

背景与挑战

背景概述

随着检索增强生成（RAG）技术在法律领域的广泛应用，如何系统评估其在多语言、多法域法律文本中的检索与生成质量成为关键挑战。ClaimRAG-LAW数据集由卢森堡大学Souvick Das、Sallam Abualhaija和Domenico Bianculli于2026年创建，专注于法律场景下RAG流水线的细粒度评估与声明验证。该数据集涵盖欧盟数据保护法（GDPR，英文）和法国民法典（法文）两大法律体系，包含317对问答样本与968条声明，通过专家验证的标注对答案准确性、声明蕴含关系及提问角色进行分类，为法律人工智能领域的RAG评估与事实核查提供了标准化基准，显著推动了法律文本理解与生成研究的评估体系构建。

当前挑战

该数据集致力于解决法律领域RAG系统评估中的多重挑战：其一，法律文本具有高度专业性、条款间复杂引用关系和管辖权特异性，通用RAG评估方法难以准确衡量系统对法律条文的忠实检索与精准回答能力；其二，现有数据集多聚焦于单一语言或法域，欠缺对跨语言法律知识的评估能力，且缺乏对声明级细粒度蕴含关系的标注。在构建过程中，挑战在于需平衡两大法系（成文法与欧盟法）的术语差异与结构歧义，确保专家标注的一致性；同时，声明拆分与蕴含标注需精确捕捉法律条款中的条件性、例外条款和模糊表述，这对标注者的法律专业知识与标注规范提出了极高要求。

常用场景

经典使用场景

在法律人工智能领域，检索增强生成（RAG）技术的评估长期缺乏高质量的标准化基准。ClaimRAG-LAW数据集应运而生，专门用于衡量法律文本中RAG流水线的整体表现，涵盖从欧盟通用数据保护条例（GDPR）到法国国家民法典的多语言法律条文。其最经典的使用场景是作为端到端问答系统的测试平台，通过317组精心标注的法律问题与专家验证答案，系统性地评估检索器与生成器在复杂法律体系下的协同能力。此外，该数据集还提供了一条细粒度的声明验证路径，允许研究者基于968条法律声明进行蕴含、矛盾或中立的分类评估，从而全面诊断模型在法律逻辑推理中的薄弱环节。

实际应用

在实际法律科技应用中，ClaimRAG-LAW的设计直接服务于两大关键需求：自动化法律咨询与合规审查。对于面向公民的智能法律助手，该数据集通过包含市民、公民官员和法律专家三种角色的问询模拟，帮助开发者在不同知识深度层面校准系统回答的准确性。在企业合规场景下，企业可利用GDPR相关子集测试内部检索系统能否精准定位隐私条款中关于数据处理、用户权利等核心义务，从而降低违规风险。此外，法律事务所和司法机构能够借助民事法部分验证辅助裁决工具对法条援引的正确性，提升法律文书起草与案例预判的效率，减少因信息遗漏或误解导致的专业失误。

衍生相关工作

ClaimRAG-LAW的发布催生了多项富有洞见的后续研究工作。基于其细粒度的声明蕴含标注，研究者开始探索将结构化三元组声明（主体-谓词-客体）融入对抗性训练框架，以增强法律RAG系统对矛盾信息的鲁棒性。另有工作利用该数据集的多语言与双领域特性，训练跨司法管辖区的领域自适应检索模型，并推动开卷问答与闭卷知识蒸馏的融合研究。此外，数据集中问题类别的层次化设计启发了面向可解释性法律推理的工作，通过注意力图谱分析模型在处理具有错误前提或管辖特异性问题时的失败模式。这些衍生进展共同夯实了其在法律NLP社区的基准地位，成为连接基础模型能力与专业化司法应用的重要桥梁。