pile-of-law/pile-of-law

我们整理了一个大型法律和行政数据语料库。该数据的用途有两个方面：（1）聚合展示不同数据过滤规范和法律标准的法律和行政数据源；（2）收集一个可用于未来预训练法律领域语言模型的数据集，这是促进司法公正倡议的关键方向。数据集包括多种来源，如美国联邦法院的案件记录、法院意见、合同、联邦公报、退伍军人上诉局意见、美国国会法案草案、教育案例书、服务条款、欧洲议会辩论、美国国家劳工关系委员会决定、美国最高法院口头辩论、美国联邦法规、美国州法典、美国最高法院文件、考试大纲、美国证券交易委员会文件、美国消费者金融保护局信用卡合同、世界宪法、美国国会听证会记录、美国监察长办公室报告、美国法律顾问办公室备忘录、美国法典、美国开国文件、联邦贸易委员会咨询意见、欧洲人权法院意见、欧洲法律、美国税务法院裁决、联合国大会辩论、美国联邦证据规则、美国联邦民事诉讼规则、加拿大法院意见、美国移民审查执行办公室决定、美国劳工部员工补偿上诉委员会决定、Reddit法律建议子版块数据、美国行政会议报告、美国教育部政策指导文件、美国专利商标局办公室行动、国际法院和常设国际法院意见、美国卫生与公众服务部行政法官意见、美国证券交易委员会行政程序文件、美国联邦矿山安全与健康审查委员会蓝皮书、资源合同、美国卫生与公众服务部医疗补助政策指导文件、美国国税局法律咨询备忘录、美国司法部指导文件等。数据以文本形式提供，包括创建时间戳、下载时间戳和源URL，并分为训练和验证集。We have compiled a large-scale legal and administrative data corpus. This corpus serves two core purposes: first, to aggregate and display legal and administrative data sources that embody distinct data filtering specifications and legal standards; second, to collect a dataset that can be used for future pre-training of legal-domain large language models, which represents a critical direction of the Initiative for Promoting Judicial Justice. The dataset covers a wide range of sources, including case records of the U.S. Federal Courts, court opinions, contracts, the Federal Register, opinions from the U.S. Board of Veterans' Appeals, U.S. Congressional bills, educational casebooks, Terms of Service, European Parliament debates, decisions of the U.S. National Labor Relations Board, U.S. Supreme Court oral arguments, the U.S. Code of Federal Regulations (CFR), U.S. State Codes, U.S. Supreme Court documents, exam syllabi, filings from the U.S. Securities and Exchange Commission (SEC), credit card contracts from the U.S. Consumer Financial Protection Bureau (CFPB), World Constitutions, transcripts of U.S. Congressional hearings, reports from the U.S. Office of the Inspector General, memoranda from the U.S. Office of Legal Counsel, the U.S. Code (USC), Founding Documents of the United States, advisory opinions from the U.S. Federal Trade Commission (FTC), opinions of the European Court of Human Rights (ECHR), European Law, decisions of the U.S. Tax Court, debates of the United Nations General Assembly, the U.S. Federal Rules of Evidence, the U.S. Federal Rules of Civil Procedure, Canadian court opinions, decisions of the U.S. Executive Office for Immigration Review (EOIR), decisions of the U.S. Department of Labor Employees' Compensation Appeals Board (ECAB), data from the r/legaladvice subreddit on Reddit, reports from the U.S. Administrative Conference of the United States (ACUS), policy guidance documents from the U.S. Department of Education, Office actions from the U.S. Patent and Trademark Office (USPTO), opinions of the International Court of Justice (ICJ) and Permanent Court of International Justice (PCIJ), opinions of administrative judges from the U.S. Department of Health and Human Services (HHS), administrative proceeding filings from the SEC, Blue Books of the U.S. Federal Mine Safety and Health Review Commission (FMSHRC), resource contracts, Medicaid policy guidance documents from HHS, legal advisory memoranda from the Internal Revenue Service (IRS), and guidance documents from the U.S. Department of Justice (DOJ). All data is provided in text format, including creation timestamps, download timestamps and source URLs, and is split into training and validation sets.

原始信息汇总

数据集概述

数据集基本信息

• 名称: Pile of Law
• 语言: 主要为英语，部分数据包含其他语言
• 许可证: CC-BY-NC-SA-4.0
• 多语言性: 单语
• 大小: 10M<n<100M
• 任务类别: fill-mask
• 任务ID: masked-language-modeling

数据集内容

数据实例

数据集包含多个子集，每个子集对应不同的法律和行政文档类型，包括但不限于：

• courtListener_docket_entry_documents: 美国联邦法院的案件记录文档
• courtListener_opinions: 美国法院意见
• atticus_contracts: Atticus项目中的未注释合同
• federal_register: 美国联邦注册，机构提交的草案规则制定
• bva_opinions: 退伍军人上诉局意见
• us_bills: 美国国会草案法案
• cc_casebooks: 开放CC许可证下的教育案例书
• tos: 未注释的服务条款合同
• euro_parl: 欧洲议会辩论
• nlrb_decisions: 美国国家劳工关系委员会决定
• scotus_oral_arguments: 美国最高法院口头辩论
• cfr: 美国联邦法规法典
• state_codes: 美国州法典
• scotus_filings: 美国最高法院的简报和文件
• exam_outlines: 公开的考试大纲
• edgar: SEC的Edgar工具上提供的合同
• cfpb_creditcard_contracts: 美国消费者金融保护局编制的信用卡合同
• constitutions: 世界宪法
• congressional_hearings: 美国国会听证会记录和声明
• oig: 美国监察长办公室报告
• olc_memos: 美国法律顾问办公室备忘录
• uscode: 美国法典（法律）
• founding_docs: 美国创始人的信件
• ftc_advisory_opinions: 联邦贸易委员会的咨询意见
• echr: 欧洲人权法院意见
• eurlex: 欧洲法律
• tax_rulings: 美国税务法院裁决
• un_debates: 联合国大会辩论
• fre: 美国联邦证据规则
• frcp: 美国联邦民事诉讼规则
• canadian_decisions: 加拿大法院意见
• eoir: 美国移民和国家性先例决定
• dol_ecab: 美国劳工部员工补偿上诉委员会决定
• r_legaladvice: 来自r/legaladvice和r/legaladviceofftopic子版块的数据
• acus_reports: 美国行政会议报告
• ed_policy_guidance: 美国教育部政策指导文件
• uspto_office_actions: 美国专利商标局办公室行动
• icj-pcij: 国际法院和常设国际法院意见
• hhs_alj_opinions: 美国卫生与公共服务部行政法法官意见
• sec_administrative_proceedings: 美国证券交易委员会行政程序的重要申诉、命令和决定
• fmshrc_bluebooks: 美国联邦矿山安全与健康审查委员会蓝皮书
• resource_contracts: ResourceContracts.org收集的资源合同
• medicaid_policy_guidance: 美国卫生与公共服务部政策指导文件
• irs_legal_advice_memos: 美国国税局法律咨询备忘录和首席顾问通知
• doj_guidance: 美国司法部指导文件

数据字段

• text: 文档文本
• created_timestamp: 文档创建时间戳（可能不准确）
• downloaded_timestamp: 文档抓取时间
• url: 源URL

数据分割

数据集包含训练集和验证集，分割比例为75%/25%。

搜集汇总

数据集介绍

构建方式

Pile of Law 数据集的构建基于对大量法律和行政数据的精心筛选与整合。数据来源包括美国联邦法院的诉讼记录、法院意见书、合同文件、联邦公报、退伍军人事务局意见、国会法案草案等。这些数据通过自动化工具从公开的在线资源中抓取，并经过初步的格式化和时间戳标记，以确保数据的原始性和可追溯性。数据集的分割采用75%训练集和25%验证集的比例，便于后续的模型训练与验证。

特点

Pile of Law 数据集的特点在于其广泛的法律领域覆盖和多样化的数据来源。数据集不仅包含美国国内的法律文件，还涵盖了欧洲议会辩论、联合国辩论、国际法院意见等国际法律资源。此外，数据集还特别关注了隐私过滤标准，确保敏感信息在公开透明的前提下得到适当保护。数据的多样性和深度使其成为法律领域语言模型预训练的理想选择。

使用方法

Pile of Law 数据集主要用于法律领域的自然语言处理任务，特别是语言模型的预训练。用户可以通过 Hugging Face 平台直接访问数据集，并根据需求选择特定的子集进行下载和使用。在使用过程中，建议用户根据任务需求对数据进行进一步过滤和分割，以确保模型训练的有效性。此外，数据集的时间戳和来源链接为数据的追溯和验证提供了便利。

背景与挑战

背景概述

Pile of Law数据集是一个专注于法律和行政领域的大规模语料库，由多个研究机构于2022年创建，旨在为法律领域的语言模型预训练提供支持。该数据集汇集了来自美国联邦法院、欧洲议会、联合国辩论等多种来源的法律文件、合同、法规和法院意见等数据。其核心研究问题在于如何通过大规模的法律文本数据，推动法律领域的自然语言处理技术发展，特别是在法律知识理解、法律论证形成以及隐私过滤标准等方面。该数据集的创建不仅为法律领域的AI研究提供了丰富的资源，还为司法公正倡议提供了技术基础。

当前挑战

Pile of Law数据集在构建和应用过程中面临多重挑战。首先，法律文本的复杂性和多样性使得数据预处理和标准化变得极为困难，尤其是不同司法管辖区的法律术语和表达方式差异显著。其次，数据集中可能包含敏感信息，尽管已通过相关政府机构的过滤，但仍需谨慎处理，以避免隐私泄露。此外，数据的时间戳准确性也是一个问题，部分数据的时间标记可能不准确，影响模型的训练效果。最后，数据集的规模庞大，如何在保证数据质量的同时进行高效存储和处理，也是技术上的一个重要挑战。

常用场景

经典使用场景

在法律领域，Pile of Law数据集被广泛用于训练和评估法律领域的语言模型。该数据集包含了大量的法律文书、法院意见、合同、法规等文本，能够为法律文本的理解、生成和分类任务提供丰富的语料支持。通过使用该数据集，研究人员可以构建更加精准的法律文本分析工具，帮助律师、法官和法律学者更高效地处理法律文档。

实际应用

在实际应用中，Pile of Law数据集被用于开发法律智能助手、合同分析工具和法规检索系统。例如，律师事务所可以利用该数据集训练的法律模型，自动化处理大量的合同审查工作，提高工作效率。政府部门也可以利用该数据集构建法规检索系统，帮助公众快速查找和理解相关法律条文。此外，该数据集还为法律教育和研究提供了丰富的资源，支持法律学者进行深入的文本分析。

衍生相关工作

Pile of Law数据集衍生了许多经典的研究工作。例如，基于该数据集，研究人员开发了多个法律领域的预训练语言模型，如Legal-BERT和CaseLaw-BERT。这些模型在法律文本分类、法律问答和法律文本生成等任务中表现出色。此外，该数据集还被用于构建法律知识图谱，支持法律推理和案例检索。这些研究工作不仅推动了法律智能化的发展，也为法律领域的自然语言处理研究提供了新的方向。