mteb/llm-eval-legalbench-consumer-contracts

---
dataset_info:
- config_name: corpus
features:
- name: _id
dtype: string
- name: title
dtype: string
- name: text
dtype: string
splits:
- name: corpus
num_bytes: 426245
num_examples: 154
download_size: 217620
dataset_size: 426245
- config_name: default
features:
- name: query-id
dtype: string
- name: corpus-id
dtype: string
- name: score
dtype: float64
splits:
- name: test
num_bytes: 3100
num_examples: 100
download_size: 3343
dataset_size: 3100
- config_name: queries
features:
- name: _id
dtype: string
- name: text
dtype: string
splits:
- name: queries
num_bytes: 10540
num_examples: 100
download_size: 7874
dataset_size: 10540
configs:
- config_name: corpus
data_files:
- split: corpus
path: corpus/corpus-*
- config_name: default
data_files:
- split: test
path: data/test-*
- config_name: queries
data_files:
- split: queries
path: queries/queries-*
---

搜集汇总

数据集介绍

构建方式

该数据集以法律领域中的消费者合同为背景，聚焦于评估大型语言模型在法律文本检索任务中的表现。构建方式上，数据集分为三个配置：corpus配置包含了154份完整的消费者合同文本，每份合同包含唯一标识符、标题及正文内容；queries配置则提供了100条与合同相关的法律问题或查询语句；default配置以测试集形式呈现，记录了每条查询与对应合同文本之间的关联评分。这种结构设计旨在模拟真实的法律检索场景，为模型提供标准化的评估基准。

特点

数据集的核心特点在于其精细化的任务设计和对法律文本特性的深入考量。corpus中的合同文本覆盖了常见的消费者合同条款，内容真实且具有代表性；queries部分的问题设置贴合实际法律咨询需求，涉及条款解释、风险提示等关键维度。测试集通过浮点数评分量化查询与合同的相关性，为模型输出提供了明确的衡量标准。此外，数据集规模适中但针对性强，适合用于验证语言模型在法律语境下的语义理解和匹配能力。

使用方法

使用该数据集时，研究人员可将corpus配置作为检索库，将queries配置作为查询输入，利用模型计算每条查询与合同中所有文本的相似度得分，并与test配置中的标准评分进行比对。典型的评估指标包括准确率、召回率及平均精度等。数据集仅包含测试划分，无需额外拆分，可直接用于模型的零样本或少样本评估。通过对比模型输出与真实评分，能够有效检验其在法律文本检索中的性能与局限性。

背景与挑战

背景概述

在人工智能与法律交叉领域，合同条款的语义理解与信息检索是智能法律系统构建的核心痛点。llm-eval-legalbench-consumer-contracts数据集由法律 NLP 研究机构于近期创建，旨在系统评估大语言模型在消费者合同文本上的检索与匹配能力。该数据集包含154份消费者合同文本、100条查询语句及对应的相关性评分，覆盖了合同中的关键条款与常见风险点。它聚焦于消费者合同这一高现实意义场景，为衡量模型在长文本、专业术语及隐含法律逻辑下的表现提供了标准化基准，对推动法律科技领域的模型评测与优化具有重要参考价值。

当前挑战

该数据集所解决的领域挑战在于消费者合同文本的结构化信息检索与语义匹配难度：合同条款通常语言冗长、表述模糊且包含大量法律专有名词，模型需从非结构化的文本中准确识别与查询相关的具体条款，这对模型的法律常识与上下文理解能力提出了极高要求。在构建过程中，挑战体现为合同文本的标准化清洗与相关性标签的精确标注——154份合同各自独具特色，需人工判断每对查询与合同片段间的语义关联，并确保评分一致性，同时要排除专业歧义与多义词干扰，从而保证评测的公正性与可重复性。

常用场景

经典使用场景

在人工智能与法律交叉领域，llm-eval-legalbench-consumer-contracts数据集专注于评估大型语言模型对消费者合同文本的理解与信息检索能力。其经典使用场景为基于查询的合同条款匹配，即给定一个法律问题或条款描述，模型需从包含154份真实消费者合同的语料库中检索出最相关的合同段落。该数据集包含100条测试查询，每一条均对应一个预标注的相关性分数，从而支持对模型语义检索精度的量化评估。通过这种设计，研究人员能够系统性地测试模型在处理专业性、细节密集的法律文本时的表现。

衍生相关工作

基于该数据集，学界和工业界衍生出多个经典研究方向。一是在法律领域微调大型语言模型，如将LLaMA或ChatGLM在消费者合同语料上进行领域适应训练。二是开发针对法律文本的检索增强生成模型，以提升合同问答和摘要的可靠性。三是构建合同风险预警系统，利用该数据集的查询-文档匹配模式识别潜在不公平条款。此外，该数据集还催生了关于法律文本分布外泛化能力的研究，推动了跨领域迁移学习在法律NLP中的应用。

数据集最近研究

最新研究方向

在消费者合同领域，大语言模型的司法推理能力正成为前沿研究热点。llm-eval-legalbench-consumer-contracts数据集聚焦于消费者合同的语义匹配与合法性评估，通过提供154份合同语料及100组查询-合同配对，为模型在真实消费场景中的权利义务识别、条款一致性判断等任务提供了标准化评测基准。当前研究趋势集中于利用该数据集检验大模型在复杂法律文本中的归因推理与风险预警能力，尤其关注格式条款效力、公平性审查等热点议题。这一基准的建立，不仅推动了法律人工智能从理论走向实务应用，更对数字消费时代的消费者权益保护与合规模拟具有里程碑意义。