mteb/legal_summarization

LegalSummarization是一个包含439对合同及其摘要的数据集，来源于tldrlegal.com和tosdr.org。这个数据集是MTEB（Massive Text Embedding Benchmark）任务的一部分，用于评估文本嵌入模型在法律文本摘要任务上的表现。

LegalSummarization is a dataset consisting of 439 pairs of contracts and their summaries from tldrlegal.com and tosdr.org. This dataset is part of the MTEB (Massive Text Embedding Benchmark) task, used to evaluate the performance of text embedding models on the task of legal text summarization.

原始信息汇总

数据集概述

基本信息

• 语言: 英语
• 多语言性: 单语种
• 任务类别: 文本检索
• 任务ID: 文档检索
• 配置名称: corpus
• 标签: 文本检索

数据集配置

• 默认配置
  • 特征:
    • query-id: 字符串类型
    • corpus-id: 字符串类型
    • score: 浮点数类型
  • 分割:
    • test: 439个样本
• corpus配置
  • 特征:
    • _id: 字符串类型
    • title: 字符串类型
    • text: 字符串类型
  • 分割:
    • corpus: 438个样本
• queries配置
  • 特征:
    • _id: 字符串类型
    • text: 字符串类型
  • 分割:
    • queries: 284个样本

数据集内容

• 查询集: 包含284个合同摘要
• 语料集: 包含438份合同

数据文件

• 默认配置:
  • test: 路径为qrels/test.jsonl
• corpus配置:
  • corpus: 路径为corpus.jsonl
• queries配置:
  • queries: 路径为queries.jsonl

搜集汇总

数据集介绍

构建方式

在法律文本挖掘与自然语言处理领域，合同摘要的自动生成是极具应用价值的研究方向。mteb/legal_summarization数据集源自TLDRLegal与ToS;DR两大法律资源平台，通过系统化采集合同原文及其对应的人工摘要，构建了包含438份合同文档与284条查询语句的检索基准。该数据集以三元组形式组织，每一条测试样本由查询ID、语料库ID及相关性评分构成，确保评估过程具备明确的监督信号。数据划分严格遵循信息检索标准，包括default、corpus与queries三个配置，分别存储相关性标签、文档集合与用户查询，共计439对合同-摘要配对，为法律领域的文本嵌入模型提供了可靠的评测基础。

使用方法

研究者可通过MTEB库便捷调用该数据集进行模型评估。具体而言，首先利用mteb.get_tasks函数加载LegalSummarization任务，随后实例化MTEB评估器并传入待测的嵌入模型，最后调用evaluator.run方法自动完成检索性能的评测。评估过程涵盖文档与查询的嵌入计算、相关性排序及标准指标输出。该数据集的设计遵循MTEB统一接口，无需手动处理数据拆分或标签格式，显著降低了法律领域检索任务的评估门槛。详细的运行指南与代码示例可在MTEB官方GitHub仓库中获取，确保可复现性与易用性。

背景与挑战

背景概述

在法律人工智能领域，合同摘要的自动生成与检索是极具挑战性的研究方向，其核心在于将冗长、晦涩的法律文本精准地转化为简洁明了的摘要，同时保留关键条款的法律效力。mteb/legal_summarization数据集由Laura Manor与Junyi Jessy Li于2019年在自然法律语言处理研讨会（NLLP）上提出，源自tldrlegal与tosdr两大法律资源平台，收录了439对合同及其对应的简明英文摘要。该数据集隶属于大规模文本嵌入基准（MTEB），旨在评估文本嵌入模型在法律文档检索任务中的表现，推动法律语义理解与信息检索技术的融合。其发布为法律科技社区提供了标准化的评测基准，促进了从合同条款到用户友好摘要的自动化流程研究，对法律实践中的文档管理、合规审查及知识发现具有深远影响。

当前挑战

该数据集面临的核心挑战首先在于法律文本的专业性与复杂性，合同语言常包含大量术语、条件状语与嵌套结构，使得自动摘要需在保持法律准确性的前提下实现语义压缩，这对模型理解法律因果关系与义务分配的能力提出严苛要求。其次，构建过程中，从tldrlegal与tosdr平台收集的摘要来源各异，其质量与一致性难以保证，部分摘要可能遗漏关键条款或引入主观解释，导致标注噪声。此外，数据集规模有限（仅438篇文档与284个查询），难以覆盖法律文书的多样性与长尾分布，模型易陷入过拟合，泛化至不同法域或合同类型时性能骤降。检索任务中，查询与相关文档的逻辑匹配需跨越词汇鸿沟，例如“赔偿条款”与“indemnification clause”的对应，进一步加剧了语义对齐的难度。

常用场景

经典使用场景

在法律文本分析与自然语言处理交叉领域，mteb/legal_summarization数据集以其独特的合同摘要对结构，成为评估文本嵌入模型检索能力的重要基准。该数据集精心收集了来自tldrlegal和tosdr两大法律资源平台的439对合同原文及其简明摘要，构建起一个涵盖438份独特文档与284条查询语句的评测框架。研究者常利用该数据集测试模型从浩如烟海的法律文本中精准定位与查询语义高度相关的合同片段的能力，从而衡量嵌入模型在法律专业领域的语义理解与检索精度。

解决学术问题

该数据集的核心学术价值在于填补了法律领域文本嵌入评估的空白，解决了长期以来缺乏标准化法律检索基准的难题。通过提供合同与摘要间的精细相关性标注，它使学界能够系统性地评估不同嵌入模型在法律文本的语义匹配、概念泛化及长文本表征等方面的表现。这一贡献推动了法律信息检索、法律文本摘要及合同条款自动理解等方向的研究进展，为构建更契合法律专业需求的语义表示模型奠定了实证基础。

实际应用

在实际应用层面，该数据集支撑着法律科技生态中的多项关键任务。法律从业者可借助基于该数据集优化的检索系统，快速从海量合同库中定位与特定法律问题相关的条款，大幅提升尽职调查与合同审查效率。同时，该数据集也为法律文档管理系统提供语义检索能力，使非专业人士能通过自然语言查询获取合同摘要，降低了法律信息获取的门槛。这些应用场景在律师事务所、公司法务部门及法律科技初创企业中具有广阔前景。

数据集最近研究

最新研究方向

在法律人工智能的快速发展浪潮中，合同摘要的自动生成与检索已成为自然语言处理领域的前沿课题。mteb/legal_summarization数据集聚焦于法律文本的向量表示与匹配任务，其核心价值在于为大规模文本嵌入基准（MTEB）提供标准化的法律领域评估场景。该数据集源自tldrlegal和tosdr平台中439对合同原文与简明摘要的配对，不仅服务于法律文书的语义相似度计算，更推动着复杂法律语言的理解与泛化研究。当前，围绕该数据集的前沿探索正集中于多语言法律嵌入模型的迁移能力、长文本稀疏检索的鲁棒性，以及法律术语的跨域对齐。随着MMTEB等大规模多语言嵌入基准的提出，该数据集在验证模型对法律逻辑与事实关系的捕捉效率上发挥着关键作用，为法律科技中合同审核、合规分析等热点应用提供了扎实的评测基础，其影响力正逐步渗透到智能司法与自动化法务的学术与实践边界。