mteb/legalbench_consumer_contracts_qa

LegalBenchConsumerContractsQA是一个关于合同相关的问答数据集，包含了问题与答案，用于训练和评估文本嵌入模型。

LegalBenchConsumerContractsQA is a question-answering dataset related to contracts, containing questions and answers for training and evaluating text embedding models.

原始信息汇总

数据集概述

基本信息

• 语言: 英语
• 多语言性: 单语种
• 任务类别: 文本检索
• 任务ID: 文档检索
• 配置名称: corpus
• 标签: 文本检索

数据集配置

• 默认配置
  • 特征:
    • query-id: 字符串类型
    • corpus-id: 字符串类型
    • score: float64类型
  • 分割:
    • test: 396个样本
• 文档配置
  • 特征:
    • _id: 字符串类型
    • title: 字符串类型
    • text: 字符串类型
  • 分割:
    • corpus: 154个样本
• 查询配置
  • 特征:
    • _id: 字符串类型
    • text: 字符串类型
  • 分割:
    • queries: 396个样本

数据集内容

• 原始链接: https://huggingface.co/datasets/nguha/legalbench/viewer/consumer_contracts_qa
• 描述: 包含与合同相关的问题和答案
• 查询集: 包含关于合同的问题
• 文档集: 包含合同文本

使用示例

python import datasets

下载数据集

queries = datasets.load_dataset("mteb/legalbench_consumer_contracts_qa", "queries") documents = datasets.load_dataset("mteb/legalbench_consumer_contracts_qa", "corpus") pair_labels = datasets.load_dataset("mteb/legalbench_consumer_contracts_qa", "default")

搜集汇总

数据集介绍

构建方式

LegalBenchConsumerContractsQA 数据集源于 LegalBench 项目，专为合同领域中的消费者合同问答任务而设计。其构建基于对大量真实消费者合同文本的深度解析与专家标注，将合同条款转化为结构化的问答对。数据集包含三个核心配置：corpus（语料库）收录了154份合同文档，queries（查询）集合了396个与合同内容紧密相关的问题，default（默认）配置则通过 qrels 文件将每个查询与对应的合同文档进行关联，形成标准的检索与匹配基准。这种设计旨在评估文本嵌入模型在复杂法律语境下对消费者合同信息的精确检索与理解能力。

特点

该数据集具有鲜明的法律领域特色，聚焦于消费者合同这一细分场景，涵盖合同条款中的权利义务、责任限制、终止条件等核心议题。语料库中的每份合同文档均保持较长的文本长度，平均达2746字符，体现了法律文本的详实性与复杂性。查询问题设计简洁明确，平均长度约92字符，每个查询仅对应一个唯一的相关文档，构成了严格的单答案检索任务。此外，数据集完全以英文构建，采用 CC-BY-NC 4.0 许可协议，适用于非商业性的学术研究，并作为 MTEB 基准的一部分，为法律文本嵌入模型的评估提供了专业化的测试环境。

使用方法

使用 LegalBenchConsumerContractsQA 数据集评估文本嵌入模型时，推荐通过 MTEB 库进行标准化操作。用户首先需安装 mteb 包，随后调用 mteb.get_tasks 函数加载任务，再利用 mteb.MTEB 类创建评估器，最后将待评估的嵌入模型作为参数传入 evaluator.run 方法即可完成评测。该流程自动处理数据集的加载、查询与语料库的匹配计算，并输出模型在合同问答检索任务上的性能指标。对于希望深入分析的用户，数据集还提供了 descriptive_stats 接口，可获取样本数量、文档长度分布等统计信息，以辅助理解任务特性与模型表现。

背景与挑战

背景概述

LegalBenchConsumerContractsQA数据集由MTEB（Massive Text Embedding Benchmark）团队于2025年构建，旨在评估文本嵌入模型在法律领域的消费者合同问答能力。该数据集源于LegalBench项目，其核心研究问题聚焦于如何利用自然语言处理技术自动解析合同中与消费者权益相关的条款，并准确回答基于合同文本的查询。作为MTEB基准测试的一部分，该数据集填补了法律领域文本检索与问答评估的空白，为衡量模型对专业法律文本的理解与推理能力提供了标准化测试平台。其影响力体现在推动法律人工智能从通用域向专业域的迁移，为合同审查自动化、消费者法律咨询等应用场景的模型选型提供了关键参考。

当前挑战

该数据集面临的挑战主要来自两个方面。在领域问题层面，法律文本具有高度结构化、术语密集且依赖上下文的特点，模型需在有限长度的合同片段中精准定位答案，这对嵌入模型的语义匹配与长文本理解能力构成严峻考验。此外，合同条款常包含隐含条件或法律前提，模型需具备超越字面匹配的推理能力。在构建过程中，数据来源于专家标注的消费者合同问答对，确保标注质量与法律准确性是核心难点，涉及领域专家对合同条款的逐条解读与争议点裁定。同时，数据集规模较小（仅154份文档与396个查询），限制了模型训练的泛化能力，且跨合同领域（如保险、租赁）的术语差异增加了任务复杂度。

常用场景

经典使用场景

LegalBenchConsumerContractsQA 数据集专为评估文本嵌入模型在法律合同领域的检索与问答能力而设计。其核心任务是将消费者合同中的法律问题与对应的合同条款进行精准匹配，属于文本到文本的多选题检索范式。该数据集包含154份真实合同文档与396条查询，每条查询仅对应一个唯一的相关文档，模拟了法律实践中律师或消费者从冗长合同中定位特定条款的典型场景。通过衡量模型在合同文本语义理解上的表现，该数据集为法律自然语言处理提供了标准化的评估基准。

解决学术问题

该数据集有效解决了法律文本检索领域中缺乏高质量、细粒度标注数据的学术困境。传统的通用检索数据集难以捕捉合同文本中严谨的术语体系与复杂的逻辑关系，而 LegalBenchConsumerContractsQA 通过专家标注的问答对，为研究合同条款自动定位、法律信息抽取与语义相似度计算等核心问题提供了可靠支撑。其意义在于推动了法律人工智能从文档级分类向更精细的条款级理解迈进，为构建具备法律推理能力的检索模型奠定了数据基础，并促进了跨学科研究在信息检索与计算法学领域的深度融合。

衍生相关工作

该数据集衍生了一系列在法律文本嵌入领域的经典工作。例如，Hendrycks等人提出的 CUAD（Contract Understanding Atticus Dataset）开创性地定义了合同理解任务，而Koreeda与Manning构建的 ContractNLI 则聚焦于合同文档级别的自然语言推理。这些工作与 LegalBenchConsumerContractsQA 共同构成了法律 NLP 的评估生态。此外，MMTEB 基准测试将本数据集纳入其大规模多语言嵌入评估体系，进一步推动了跨语言法律检索模型的发展。Muennighoff等人提出的 MTEB 框架则为这些数据集提供了统一的评测标准，促进了模型性能的横向对比与迭代优化。