LePaRD

LePaRD是一个大规模的法律文本检索数据集，由麻省理工学院和哈佛大学法学院创建。该数据集包含数百万条美国联邦法院的先例引用，旨在促进法律文本预测的研究。数据集的内容包括大量的法律论证上下文和相关的目标文本，主要用于法律领域的文本检索和推理任务。创建过程中，研究者们利用了哈佛的案例法律访问项目(CAP)的数据，通过精确的文本匹配技术提取了引用先例的文本。LePaRD的应用领域主要集中在法律实践，特别是帮助律师和法官减少法律研究的时间和成本，从而扩大司法的可达性。

LePaRD is a large-scale legal text retrieval dataset developed by the Massachusetts Institute of Technology (MIT) and Harvard Law School. It contains millions of U.S. federal court precedent citations, and is designed to facilitate research on legal text prediction. The dataset includes extensive legal argumentation contexts and related target texts, which are mainly used for text retrieval and reasoning tasks in the legal field. During its creation, researchers utilized data from the Harvard Case Law Access Project (CAP), and extracted texts of cited precedents through precise text matching technologies. The application areas of LePaRD mainly focus on legal practice, specifically helping lawyers and judges reduce the time and cost of legal research, thereby expanding access to justice.

原始信息汇总

LePaRD: A Large-Scale Dataset of Judges Citing Precedents

描述

LePaRD是一个大规模的美国联邦法官引用先例的数据集。该数据集基于数百万专家判决，从中提取了引用先例的引文及其前文上下文。数据集的每一行对应于在特定上下文中使用的先例法律的引用。

数据字段

• passage_id: 每个段落的唯一标识符
• destination_context: 引用前的上下文
• passage_text: 被引用的段落文本
• court: 段落来源的法院
• date: 段落来源的意见书发布的日期

引用

如果使用LePaRD数据集，请引用以下论文： bibtex @article{mahari2023LePaRD, title={LePaRD: A Large-Scale Dataset of Judges Citing Precedents}, author={Mahari, Robert and Stammbach, Dominik and Ash, Elliott and Pentland, AlexSandy}, journal={arXiv preprint}, year={2023} }

搜集汇总

数据集介绍

构建方式

在普通法体系中，判例引用是法律论证的核心环节。LePaRD数据集的构建依托于哈佛大学案例法访问项目（CAP）提供的海量美国联邦法院判决文书。研究团队通过正则表达式提取判决意见中的引文段落，并利用模糊字符串匹配技术将这些段落与引用的先例文书进行关联。每个引文段落均与其引用上下文（前200字符）配对，形成约400万条独特先例段落与1700万条上下文的庞大集合。这一构建过程充分捕捉了法官实际引用先例的复杂模式，确保了数据与法律实践的高度契合。

特点

LePaRD数据集的核心特征在于其规模宏大且紧密贴合法律实践需求。作为目前最大的法律段落检索数据集，它涵盖了美国联邦法院系统中所有被引用的先例段落，呈现出典型的长尾分布特征——少数高频引用段落与大量低频引用段落并存。数据集中每个条目均包含精确的法院信息和时间戳，有助于研究者建模判例的时空效力边界。与基于合成查询的检索任务不同，该数据集直接源于真实的司法引用行为，因而更能反映法律检索中的实际挑战，如语义关联弱、词汇重叠度低等复杂情形。

使用方法

该数据集主要支持法律段落预测任务，即根据给定的法律论证上下文检索相关的先例段落。研究者可采用多种自然语言处理技术进行探索，包括基于BM25的稀疏检索、基于SBERT的稠密检索，以及将检索转化为监督分类任务的端到端方法。数据提供25K、100K和250K三种规模的子集，便于研究不同检索难度下的模型性能。此外，数据集还可作为检索增强生成（RAG）系统的基石，为大型语言模型提供可靠的法律知识来源，从而降低法律文书生成中的幻觉风险，并增强生成结果的可靠性与可审计性。

背景与挑战

背景概述

在普通法司法体系中，判例引用是法律论证与裁决的基石，然而海量的司法意见与复杂的法律推理为法律检索带来了巨大挑战。LePaRD数据集由麻省理工学院与苏黎世联邦理工学院的研究团队于2023年共同创建，旨在构建一个面向法律段落预测任务的大规模资源。该数据集系统性地收录了美国联邦法院数百万条判例引用的上下文对应关系，其核心研究问题聚焦于如何根据法律论证的语境，精准预测并检索出相关的判例段落。这一工作不仅推动了法律自然语言处理领域向实践导向任务的纵深发展，也为通过技术手段降低法律研究成本、促进司法可及性提供了重要的数据基础。

当前挑战

LePaRD数据集所针对的法律段落预测任务面临多重挑战。在领域问题层面，挑战主要源于法律语言的独特复杂性、判例引用的长尾分布特性以及法律推理中蕴含的微妙逻辑关联，这使得传统的基于词汇重叠或通用语义相似度的检索方法效果不佳。在数据集构建过程中，研究团队需从数百万份司法意见中精准提取并匹配引文与对应段落，同时需处理光学字符识别可能引入的误差，并确保所收录的段落均具有实际的法律约束力，避免纳入无约束力的法官附带意见。这些因素共同构成了该数据集在推动法律智能检索技术进步道路上的核心难点。

常用场景

经典使用场景

在普通法系的法律实践中，法官和律师构建法律论证时高度依赖先例的引用。LePaRD数据集的核心应用场景正是模拟这一专业过程，为法律段落预测任务提供大规模训练与评估基准。该数据集通过提取美国联邦法院判决书中数百万条实际引用的先例段落及其上下文，构建了从法律论证语境到特定判例段落的映射关系，使得研究者能够开发并测试能够自动识别相关法律先例的计算模型。这种场景高度贴合法律实务需求，为自然语言处理技术在复杂专业领域的应用提供了典型范例。

解决学术问题

LePaRD数据集主要致力于解决法律信息检索领域长期存在的若干核心学术挑战。传统法律检索模型往往受限于数据集规模较小或与实务脱节的问题，而该数据集通过整合海量真实法官引用数据，首次实现了对法律段落级检索任务的大规模系统性研究。它有效应对了法律文本中语义关联复杂、先例引用分布呈现长尾特性、以及法律推理逻辑特殊等难题，为探索领域适应的检索算法、研究低资源场景下的法律推理模型提供了关键数据基础。其发布显著推动了法律自然语言处理研究向实践导向的转变。

衍生相关工作

围绕LePaRD数据集，已衍生出多个重要的研究方向与改进模型。在方法学层面，研究者基于该数据集对BM25、Sentence-BERT等通用检索算法在法律领域的迁移性能进行了系统评估，并发现监督分类方法在该任务上表现更优，这引导了后续针对法律文本特性设计专用模型架构的探索。同时，该数据集与COLIEE等现有法律检索任务的对比分析，促进了学界对法律检索任务不同粒度（案例级vs.段落级）与数据构造方式的深入讨论。此外，其构建范式也激励了在其他司法管辖区构建类似大规模、实践对齐的法律检索数据集的后续工作。