context-relevance-classifier-dataset

这是一个设计用于训练或评估模型判断答案是否基于给定上下文的法律相关文本分类数据集。每个样本包括一个问题、一个可能的答案、一个法律段落或参考文献和一个标签，标签表示答案是否被上下文支持。

原始信息汇总

数据集概述

基本信息

• 许可证: MIT
• 任务类别: 文本分类
• 语言: 英语
• 标签: 法律
• 规模: 1K<n<10K

数据集描述

该数据集用于训练或评估模型判断答案是否基于给定的上下文。每个样本包含以下字段：

• question: 问题
• answer: 问题的可能答案
• context: 法律段落或参考文档
• label:
  • 1 → 答案由上下文支持
  • 0 → 答案不由上下文支持

数据来源

数据集源自以下两个数据集：

• axondendriteplus/legal-qna-dataset
• axondendriteplus/legal-rag-embedding-dataset

原始数据集仅包含正例（label = 1），负例（label = 0）通过GPT-4.1-nano生成以构建平衡数据集。

用途

• 训练LLMs验证答案是否基于给定上下文
• 评估法律QA系统中的幻觉检测
• 微调或基准测试上下文感知文本分类器

数据格式

json { "question": "...", "answer": "...", "context": "...", "label": 0 or 1 }

搜集汇总

数据集介绍

构建方式

在法律文本分析领域，数据质量直接影响模型对答案依据性的判断能力。本数据集源自两个法律问答与检索增强生成数据集，原始数据仅包含正例样本，即答案与法律条文支持关系明确的案例。为构建平衡数据集，研发团队采用GPT-4.1-nano生成负例样本，通过替换答案或修改上下文内容形成无法支持的问答对，最终形成包含数千条标注数据的集合，每条数据均包含问题、答案、法律条文上下文及二元标签。

特点

该数据集聚焦法律领域的答案依据性验证，其核心特征体现在专业文本的深度处理。所有样本均来源于真实法律条文与问答场景，上下文内容具有高度专业性且经过严格筛选。数据标签采用二进制分类体系，明确区分答案是否得到上下文支持，这种设计特别适合训练模型识别法律文本中的依据关系。数据集规模控制在千至万条级别，既保证多样性又维持可管理性，每条数据均以结构化JSON格式存储，确保机器学习流程的高效集成。

使用方法

对于法律人工智能研究者，该数据集支持多种应用场景。可直接用于训练文本分类模型，通过输入问题、答案和上下文三元组预测依据性标签，适用于微调BERT等预训练模型。在评估层面，该数据集能有效检验法律问答系统的幻觉检测能力，通过测量模型在负例样本上的表现评估其可靠性。研究人员还可将数据拆分为训练、验证与测试集，采用交叉验证方法确保模型泛化性能，或作为基准数据集对比不同算法的准确率与F1分数。

背景与挑战

背景概述

在法律人工智能领域，确保问答系统的准确性与可靠性一直是核心研究议题。context-relevance-classifier-dataset由AxonDendritePlus研究团队于近年构建，专注于解决法律文本中答案与上下文的相关性判定问题。该数据集通过整合已有的法律问答与检索增强生成数据，并引入负样本生成技术，旨在提升模型对法律依据的验证能力，对推动法律智能辅助系统的发展具有显著影响力。

当前挑战

该数据集主要应对法律问答系统中答案幻觉检测的挑战，要求模型精确判断答案是否基于给定法律上下文，涉及语义匹配与逻辑推理的复杂性。构建过程中，原始数据仅包含正样本，需通过GPT-4.1-nano生成高质量负样本以实现平衡，同时需确保生成内容的真实性与法律术语的准确性，避免引入噪声或偏差。

常用场景

经典使用场景

在法律智能问答系统中，该数据集被广泛应用于训练模型判断给定答案是否基于特定法律条文或案例背景。通过分析问题、答案与法律上下文之间的逻辑关联性，模型能够识别答案是否具备可靠的法律依据，从而提升法律咨询自动化工具的准确性与可靠性。

解决学术问题

该数据集有效解决了法律自然语言处理中答案真实性验证的学术难题，特别是针对法律文本中幻觉检测与事实性评估的研究需求。通过构建平衡的正负样本，它为学术界提供了评估模型泛化能力与鲁棒性的标准基准，推动了可解释人工智能在法律领域的深度应用。

衍生相关工作

基于该数据集衍生的经典研究包括法律检索增强生成（RAG）系统的优化、多模态法律文档分析框架的构建，以及对抗性样本生成技术的改进。这些工作进一步拓展了法律人工智能在幻觉抑制、跨域迁移学习和细粒度推理任务中的能力边界。