chenghao/sec-material-contracts-qa

EDGAR Document Question Answering数据集包含800多个EDGAR合同，这些合同包含PDF图像和由OpenAI GPT-4o模型提取的关键信息。关键信息包括合同签署日期、生效日期、到期日期、合同方地址、合同方名称、对方地址、对方名称、对方签署人姓名、对方签署人职位、自动续约、管辖法律、法院地点、支付频率、支付条款、续约条款、合同期限、因故终止、方便终止、终止通知期、选择退出期限和合同价值等。原始合同是从2024年1月1日之后上传到sec.gov的10-K/Q或8-K文件中采样的。数据集的特征包括索引HTML URL、索引文本URL、CIK、名称、类型、日期、序列、描述、文档类型、大小、文件名、文件URL、文件、文件内容、全文、图像、页面文本、HTML内容等。数据集的语言为英语，由众包和机器生成，许可证为Apache-2.0，属于单语言数据集，大小类别为小于1K。

搜集汇总

数据集介绍

构建方式

在金融与法律文本分析领域，结构化信息的提取始终是自动化处理的核心挑战。该数据集基于美国证券交易委员会（SEC）EDGAR系统中2024年1月1日之后提交的10-K/Q及8-K文件，从中精心采样了800余份真实合同。每份合同均包含原始PDF图像与文本内容，并借助OpenAI GPT-4o模型进行关键信息自动抽取。抽取过程严格遵循预定义的Schema，涵盖协议日期、签约方名称、管辖法律、付款条款等二十余项结构化字段，最终形成包含索引链接、文件元数据与提取结果的多维数据记录。

特点

该数据集兼具规模精炼与维度丰富的特点。尽管样本数量不足千份，但每一份合同均实现了从原始文档到结构化信息的完整映射，尤其保留了PDF图像与页面文本等视觉模态数据，为多模态文档理解任务提供了天然支撑。关键信息字段覆盖合同生命周期中的核心要素，如自动续期、终止条款与合同价值，且抽取结果以机器可读的字符串形式呈现，便于下游模型进行抽取式问答或验证。此外，数据来源的权威性与时间戳的明确性确保了信息的高可信度。

使用方法

数据集以HuggingFace Datasets格式发布，默认配置下可直接加载训练集，包含804条样本。用户可通过字段名称访问索引链接、合同文本、页面图像及结构化标签，适用于视觉问答、文档问答与抽取式问答等任务。具体使用时，可结合‘file_content’与‘full_text’字段进行纯文本分析，或利用‘images’字段中的二进制图像数据训练多模态模型。对于合同信息抽取，各关键信息字段（如‘governing_law’）可直接作为监督信号，支持序列标注或生成式模型的微调与评估。

背景与挑战

背景概述

在合同分析与信息提取领域，从非结构化文档中精准抽取关键条款一直是法律科技研究的前沿课题。由陈浩等人构建的sec-material-contracts-qa数据集，依托美国证券交易委员会（SEC）的EDGAR系统，选取2024年1月1日后提交的10-K/Q及8-K文件中的800余份合同，通过OpenAI GPT-4o模型自动标注协议日期、管辖法律、自动续约条款等23项核心信息。该数据集将原始PDF图像与结构化问答对相结合，开创了视觉文档理解与法律实体抽取融合的研究范式，为自动化合同审查、合规分析等下游任务提供了标准化测试基准，显著推动了法律领域预训练模型的可解释性与泛化能力研究。

当前挑战

该数据集面临的核心挑战包括：其一，合同文本中高度专业化的法律术语与模糊表述（如“reasonable efforts”），导致GPT-4o生成的标注存在歧义性，需人工校验以平衡效率与准确性；其二，PDF图像质量参差（如扫描件倾斜、水印遮挡），增大了视觉问答任务的难度，现有OCR模型对复杂版式合同的文本还原率不足85%；其三，合同条款的强上下文依赖性（如“termination_for_cause”需结合违约定义段落判断），使得标准抽取模型容易遗漏隐含信息，亟需设计融合长距离依赖与领域知识的架构。此外，数据集规模仅804例，难以覆盖所有合同变体，小样本学习下的鲁棒性仍是待突破的瓶颈。

常用场景

经典使用场景

在合同分析与信息提取这一前沿交叉领域，sec-material-contracts-qa数据集凭借其独特的构造方式，成为了训练和评估视觉问答与文档问答模型的核心基准。该数据集汇聚了800余份源自美国证券交易委员会EDGAR系统的真实合同PDF，并借助GPT-4o模型对每份合同精准标注了包括签约日期、管辖法律、自动续约条款等二十余项关键信息。研究者可基于此数据集构建能够从复杂合同文档中自动抽取结构化信息的模型，从而推动文档理解技术的纵深发展。

衍生相关工作

围绕sec-material-contracts-qa数据集，学术界已衍生出一系列具有影响力的工作。研究者们基于该数据集提出了融合视觉与语言特征的跨模态预训练模型，专门用于法律文档的细粒度理解；亦有工作探索了利用大语言模型进行弱监督标注以扩充训练数据的范式，从而进一步提升模型在低资源场景下的泛化性能。此外，该数据集还催生了针对合同条款的对比学习框架，为无监督或半监督的法律信息抽取开创了新的研究路径。

数据集最近研究

最新研究方向

在合约智能审查与法律文本自动化解析领域，该数据集聚焦于利用多模态大语言模型从美国SEC EDGAR系统公开的合同PDF中抽取结构化关键条款。前沿研究方向包括基于GPT-4o等模型进行零样本或少样本的合约要素提取，涵盖签约方信息、管辖法律、自动续约条款、终止条件及合同金额等复杂语义字段。该数据集与近期金融监管科技（RegTech）中合同智能比对、风险条款自动识别等热点事件紧密关联，为从非结构化法律文档到结构化知识库的转化提供了高质量基准。其意义在于推动法律AI从简单分类向细粒度、多字段的深度信息抽取演进，有望显著降低人工审阅成本，提升跨境交易与合规审查的效率与准确性。