ContractNLI
收藏资源简介：
ContractNLI是一个用于合同文档级自然语言推理（NLI）的数据集，旨在自动化或支持耗时的合同审查过程。该任务要求系统根据给定的假设（如“协议的某些义务可能在终止后继续存在”）和合同，分类每个假设是否被合同蕴含、矛盾或未提及，并识别证据作为合同中的文本跨度。数据集包含607个非披露协议（NDA）的17个假设标注，是首个利用NLI处理合同的数据集，也是最大的标注合同语料库（截至2021年9月）。数据格式为JSON文件，包括文本、跨度、标注集和标签等信息。
ContractNLI is a dataset for document-level natural language inference (NLI) on contracts, designed to automate or support time-consuming contract review workflows. This task requires the system to classify each given hypothesis (e.g., "Certain obligations of the agreement may continue to exist after termination") along with the corresponding contract as entailed, contradicted, or neutral (unmentioned) by the contract, and identify supporting evidence as text spans within the contract text. The dataset contains annotations for 17 hypotheses across 607 non-disclosure agreements (NDAs). It is the first dataset to apply NLI to contract processing, and as of September 2021, it is the largest annotated contract corpus. The data is stored in JSON files, containing information such as text, spans, annotation sets, and labels.
ContractNLI 数据集概述
数据集简介
ContractNLI 是一个面向合同文档级自然语言推理（NLI）的数据集，旨在自动化/支持耗时的合同审查流程。该数据集于2021年9月发布，是首个将NLI应用于合同领域的数据集，也是截至2021年9月最大的带注释合同语料库。
任务定义
数据集包含两个核心子任务：
- 自然语言推理（NLI）：文档级三分类任务，判断假设与合同之间的关系为以下三类之一：
Entailment（蕴含）Contradiction（矛盾）NotMentioned（未提及）
- 证据识别：当NLI标签为
Entailment或Contradiction时，需在合同文本中识别支持该决策的跨度（span）作为证据。这是一个多标签二分类任务，证据跨度可以不连续，但需要全面识别（包括冗余情况）。
数据集规模与构成
- 合同数量：607份非公开协议（NDA）
- 假设数量：17条固定假设（贯穿所有合同，包括测试集）
- 数据集格式：JSON文件格式
JSON数据结构
文档信息（documents）
每条记录包含：
id：文档唯一标识符file_name：原始文件名text：完整合同文本document_type：文档来源类型（search-pdf、sec-text、sec-html）url：文档来源URLspans：跨度列表，以起始和结束字符索引对表示annotation_sets：注释集合列表（每个文档仅有一个注释，可通过document[annotation_sets][0][annotations]访问）
注释信息（annotations）
- 键为假设键（如
nda-1） choice：NLI分类结果（Entailment、Contradiction或NotMentioned）spans：证据跨度索引列表（当choice为NotMentioned时为空）
假设标签（labels）
- 键为假设键
short_description：假设的简短描述hypothesis：假设的完整文本（用于NLI）
基线系统
论文提出了Span NLI BERT作为强基线模型，其特点包括：
- 将证据识别建模为跨度的多标签分类问题，而非预测起始和结束标记
- 引入更复杂的上下文分割策略以处理长文档
- 显著优于现有模型
基线系统实现可访问：https://github.com/stanfordnlp/contract-nli-bert
许可证
数据集采用CC BY 4.0许可证发布。详细条款请参见：https://creativecommons.org/licenses/by/4.0/
引用信息
如使用该数据集，请引用以下论文：
bibtex @inproceedings{koreeda-manning-2021-contractnli, title = "ContractNLI: A Dataset for Document-level Natural Language Inference for Contracts", author = "Koreeda, Yuta and Manning, Christopher D.", booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2021", year = "2021", publisher = "Association for Computational Linguistics" }
版本与更新
- 2021年10月5日：初始版本发布
联系方式
如有数据集相关问题，可通过以下方式联系：
- 邮箱：koreeda@stanford.edu
- GitHub仓库：创建Issues
