jordanfan/billsum_abstracted_us_congress_117_bills_p2

--- dataset_info: features: - name: 'Unnamed: 0' dtype: int64 - name: index dtype: int64 - name: id dtype: string - name: policy_areas dtype: string - name: cur_summary dtype: string - name: cur_text dtype: string - name: title dtype: string - name: titles_official dtype: string - name: titles_short dtype: string - name: sponsor_name dtype: string - name: sponsor_party dtype: string - name: sponsor_state dtype: string - name: cleaned_summary dtype: string - name: extracted_text dtype: string - name: extracted_text_375 dtype: string - name: extracted_text_750 dtype: string - name: extracted_text_1000 dtype: string - name: bertsum_extracted_250 dtype: string - name: bertsum_extracted_375 dtype: string - name: bertsum_extracted_375_1000 dtype: string - name: bertsum_extracted_250_1000 dtype: string - name: bertsum_extracted_375_750 dtype: string - name: bertsum_extracted_250_750 dtype: string - name: bertsum_extracted_375_500 dtype: string - name: bertsum_extracted_250_500 dtype: string - name: bertsum_extracted_375_375 dtype: string - name: bertsum_extracted_250_375 dtype: string - name: text_len dtype: int64 - name: billsum_abstracted_1000 dtype: string splits: - name: train num_bytes: 152287149 num_examples: 4505 - name: val num_bytes: 47132749 num_examples: 1353 - name: test num_bytes: 5401931 num_examples: 154 download_size: 85517487 dataset_size: 204821829 configs: - config_name: default data_files: - split: train path: data/train-* - split: val path: data/val-* - split: test path: data/test-* ---数据集信息： 特征字段： - 名称：未命名列0（Unnamed: 0），数据类型：64位整型（int64） - 名称：索引（index），数据类型：64位整型（int64） - 名称：ID（id），数据类型：字符串类型（string） - 名称：政策领域（policy_areas），数据类型：字符串类型（string） - 名称：当前摘要（cur_summary），数据类型：字符串类型（string） - 名称：当前文本（cur_text），数据类型：字符串类型（string） - 名称：标题（title），数据类型：字符串类型（string） - 名称：官方标题（titles_official），数据类型：字符串类型（string） - 名称：简称标题（titles_short），数据类型：字符串类型（string） - 名称：发起人姓名（sponsor_name），数据类型：字符串类型（string） - 名称：发起党派（sponsor_party），数据类型：字符串类型（string） - 名称：发起州（sponsor_state），数据类型：字符串类型（string） - 名称：清洗后摘要（cleaned_summary），数据类型：字符串类型（string） - 名称：提取文本（extracted_text），数据类型：字符串类型（string） - 名称：提取文本（375）（extracted_text_375），数据类型：字符串类型（string） - 名称：提取文本（750）（extracted_text_750），数据类型：字符串类型（string） - 名称：提取文本（1000）（extracted_text_1000），数据类型：字符串类型（string） - 名称：基于BertSum提取的250长度文本（bertsum_extracted_250），数据类型：字符串类型（string） - 名称：基于BertSum提取的375长度文本（bertsum_extracted_375），数据类型：字符串类型（string） - 名称：基于BertSum提取的375-1000范围文本（bertsum_extracted_375_1000），数据类型：字符串类型（string） - 名称：基于BertSum提取的250-1000范围文本（bertsum_extracted_250_1000），数据类型：字符串类型（string） - 名称：基于BertSum提取的375-750范围文本（bertsum_extracted_375_750），数据类型：字符串类型（string） - 名称：基于BertSum提取的250-750范围文本（bertsum_extracted_250_750），数据类型：字符串类型（string） - 名称：基于BertSum提取的375-500范围文本（bertsum_extracted_375_500），数据类型：字符串类型（string） - 名称：基于BertSum提取的250-500范围文本（bertsum_extracted_250_500），数据类型：字符串类型（string） - 名称：基于BertSum提取的375-375范围文本（bertsum_extracted_375_375），数据类型：字符串类型（string） - 名称：基于BertSum提取的250-375范围文本（bertsum_extracted_250_375），数据类型：字符串类型（string） - 名称：文本长度（text_len），数据类型：64位整型（int64） - 名称：基于Billsum生成的1000长度抽象摘要（billsum_abstracted_1000），数据类型：字符串类型（string） 数据集划分： - 划分集：训练集（train），字节数：152287149，样本量：4505 - 划分集：验证集（val），字节数：47132749，样本量：1353 - 划分集：测试集（test），字节数：5401931，样本量：154 下载总大小：85517487字节，数据集总大小：204821829字节 配置信息： - 配置名称：默认（default），数据文件路径： - 训练集：data/train-* - 验证集：data/val-* - 测试集：data/test-*

原始信息汇总

数据集特征

• Unnamed: 0：整数类型
• index：整数类型
• id：字符串类型
• policy_areas：字符串类型
• cur_summary：字符串类型
• cur_text：字符串类型
• title：字符串类型
• titles_official：字符串类型
• titles_short：字符串类型
• sponsor_name：字符串类型
• sponsor_party：字符串类型
• sponsor_state：字符串类型
• cleaned_summary：字符串类型
• extracted_text：字符串类型
• extracted_text_375：字符串类型
• extracted_text_750：字符串类型
• extracted_text_1000：字符串类型
• bertsum_extracted_250：字符串类型
• bertsum_extracted_375：字符串类型
• bertsum_extracted_375_1000：字符串类型
• bertsum_extracted_250_1000：字符串类型
• bertsum_extracted_375_750：字符串类型
• bertsum_extracted_250_750：字符串类型
• bertsum_extracted_375_500：字符串类型
• bertsum_extracted_250_500：字符串类型
• bertsum_extracted_375_375：字符串类型
• bertsum_extracted_250_375：字符串类型
• text_len：整数类型
• billsum_abstracted_1000：字符串类型

数据集分割

• 训练集 (train)：
  • 字节数：152287149
  • 示例数：4505
• 验证集 (val)：
  • 字节数：47132749
  • 示例数：1353
• 测试集 (test)：
  • 字节数：5401931
  • 示例数：154

数据集大小

• 下载大小：85517487字节
• 数据集总大小：204821829字节

搜集汇总

数据集介绍

构建方式

该数据集以美国第117届国会法案为蓝本，基于BillSum数据集进行深度抽象化处理而构建。构建过程首先从国会官方记录中收集法案的原始文本、摘要及元数据，涵盖政策领域、发起人信息等。随后，通过多种自然语言处理技术对法案文本进行预处理与特征提取，包括利用BERTSUM模型生成不同长度（如250、375、500、750、1000词）的抽取式摘要，同时结合抽象式方法生成BillSum抽象摘要。数据被划分为训练集（4505条）、验证集（1353条）和测试集（154条），形成结构化、多层次的摘要资源。

特点

该数据集的核心特色在于其丰富的多粒度摘要集合，提供了从原始文本到多种长度抽取式摘要的完整链条。每个法案实例包含原始文本、官方摘要、清洗后摘要以及BERTSUM模型生成的多种变体摘要，如250词与375词的组合摘要，支持对摘要质量与长度的细粒度研究。此外，数据集还整合了政策领域、发起人党派与州等信息，便于进行跨领域与跨政治背景的分析。这些特点使其成为探索文本抽象化、摘要评估及法律文本理解任务的理想基准。

使用方法

使用者可通过HuggingFace Datasets库轻松加载该数据集，指定配置为'default'并选择训练、验证或测试分割。数据以Parquet格式存储，支持高效读取。典型应用包括训练与评估文本摘要模型，例如利用'cur_text'作为输入、'billsum_abstracted_1000'作为目标进行监督学习。研究者也可对比不同摘要变体（如'extracted_text_375'与'bertsum_extracted_250_375'）的性能，或分析政策领域与摘要质量之间的关联。建议在预处理时处理字符串字段中的缺失值，并根据任务需求选择合适的摘要列作为标签。

背景与挑战

背景概述

在自然语言处理与立法文本分析的交汇领域，自动摘要技术正逐渐成为提升政策研究效率的关键工具。jordanfan/billsum_abstracted_us_congress_117_bills_p2数据集由研究者Jordan Fan等人构建，聚焦于美国第117届国会的法案文本，旨在推动立法文档的抽象式摘要生成任务。该数据集创建于近年来，依托于公开的国会数据源，核心研究问题在于如何从冗长、结构复杂的法律条文中精准提取关键信息并生成连贯的摘要。通过提供包含政策领域、提案人信息及多种长度变体的摘要版本（如基于BERTSUM的提取结果），该数据集为评估生成式摘要模型在专业领域中的表现提供了基准，对法律人工智能、公共政策分析及信息检索领域产生了重要影响。

当前挑战

当前数据集面临多重挑战。首先，在领域问题层面，立法文本具有高度的专业性和规范性，其术语密集、逻辑层级复杂，且常包含交叉引用，这使得自动摘要模型难以像处理新闻文本一样生成简洁准确的摘要，尤其需要平衡忠实度与可读性。其次，在构建过程中，数据清洗与对齐是一大难点，原始法案文本与人工摘要之间可能存在语义偏差，而不同摘要版本（如从250词到1000词）的生成策略需确保一致性。此外，党派立场、政策领域多样性及摘要长度控制等因素，进一步增加了模型泛化与评估的复杂性，限制了数据集在跨领域应用中的鲁棒性。

常用场景

经典使用场景

在自然语言处理与法律文本智能分析的交叉领域中，Billsum_Abstracted_US_Congress_117_Bills_P2数据集为自动文本摘要任务提供了高质量的基准资源。该数据集聚焦于美国第117届国会提出的法案，收录了法案原文、官方摘要以及经由多种抽象式摘要模型（如BertSum）生成的不同长度摘要变体，尤其包含了从250词至1000词的多粒度摘要版本。经典使用场景在于训练和评估抽象式摘要模型在长文本、结构化法律文档上的表现，研究者可借助该数据集探索如何从繁杂的立法文本中精准提取核心政策要点与法律条款，推动领域内摘要生成技术的进步。

衍生相关工作

围绕该数据集已衍生出一系列具有影响力的研究工作，主要集中在对比不同抽象式摘要架构在立法文本上的表现差异。例如，研究者利用该数据集中的BertSum变体作为基线，进一步探索基于Transformer的大规模预训练模型（如BART、Longformer）在长文本摘要中的优化策略，并引入政策领域知识图谱来增强摘要的领域特异性。此外，有工作利用该数据集的多粒度摘要版本，提出动态长度控制机制，使模型能够根据用户需求自动调整摘要压缩率。这些衍生工作不仅深化了对法律文本语义压缩的理解，也为跨领域迁移学习提供了可复用的实验范式。

数据集最近研究

最新研究方向

该数据集聚焦于美国第117届国会法案的自动摘要生成，属于法律文本与自然语言处理的交叉前沿。当前研究热点在于利用预训练模型（如BERTSUM）对冗长的立法文档进行多粒度抽象式摘要，涵盖从250词到1000词的不同压缩比，以平衡信息完整性与可读性。数据集提供的多版本摘要（包括政策领域、发起人信息及清洗后文本）为探究法案主题聚类、党派倾向对摘要质量的影响提供了独特视角。其意义在于推动法律领域高效信息提取，支撑立法监督与公众参与，同时为评估摘要模型在专业、结构化文本上的泛化能力树立新标杆。