vbpl-vn

Hugging Face2026-05-22 更新2026-05-23 收录

越南法律文档处理

法律AI应用

数据链接：

https://huggingface.co/datasets/tmquan/vbpl-vn 数据链接链接失效反馈

官方服务：

资源简介：

越南国家法律数据库（vbpl.vn）数据集是一个文档级的越南法律文本语料库，从越南司法部运营的vbpl.vn门户网站收集而来。该数据集全面覆盖了越南中央和地方两个层级的法律文件，包括法律、法令、决定、决议、指示、通知、联合通知、统一文本、敕令、公文等多种文档类型。数据集包含158,822个法律文档，其中地方文件（dia_phuong）占65.7%（104,345个），中央文件（trung_uong）占34.3%（54,477个）。每个文档行都包含经过标准化处理的越南语Markdown正文（采用NFC规范化和1984年后的现代正字法）以及完整的层次结构层：文档→章节→段落→句子，每个结构单元都带有稳定的ID和字符跨度信息，可精确映射回Markdown文本。数据集提供了丰富的元数据字段，包括文档标识（doc_name）、范围（scope）、标题（title）、文档类型（doc_type和legal_type）、法律领域（legal_area）、文号（so_hieu）、发布日期（ngay_ban_hanh）、发布机构（co_quan_ban_hanh）、摘要（trich_yeu）等。正文内容主要来自HTML解析（占92.8%），少数文档只有元数据而无正文（占7.2%）。数据集还包含详细的统计信息，如字符长度、页面数、章节数、段落数、句子数等。此外，数据集提供了完整的层次结构JSON（structure_json）和实体提取JSON（extracted_json）。除了主文档数据集外，还包含两个配套阶段：embed阶段提供2048维密集向量表示，reduce阶段提供2D投影和聚类ID。该数据集适用于多种自然语言处理任务，包括文本分类、文本检索、问答、文本生成、摘要等，特别适合法律领域的AI应用和研究。

The Vietnam National Legal Database (vbpl.vn) dataset is a document-level Vietnamese legal text corpus collected from the vbpl.vn portal operated by the Ministry of Justice of Vietnam. This dataset comprehensively covers legal documents at both central and local levels in Vietnam, including various document types such as Laws, Decrees, Decisions, Resolutions, Instructions, Circulars, Joint Circulars, Uniform Texts, Ordinances, and Official Documents. The dataset contains 158,822 legal documents, of which local documents (dia_phuong) account for 65.7% (104,345) and central documents (trung_uong) account for 34.3% (54,477). Each document entry contains standardized Vietnamese Markdown body text (using NFC normalization and modern orthography post-1984) and a complete hierarchical structure: Document → Chapter → Paragraph → Sentence. Each structural unit carries a stable ID and character span information that can be accurately mapped back to the Markdown text. The dataset provides rich metadata fields, including document identifier (doc_name), scope, title, document type (doc_type and legal_type), legal area (legal_area), document number (so_hieu), issuance date (ngay_ban_hanh), issuing authority (co_quan_ban_hanh), abstract (trich_yeu), and others. The main body text is mostly derived from HTML parsing (92.8%), while a small portion of documents only have metadata without body text (7.2%). The dataset also includes detailed statistical information, such as character length, number of pages, number of chapters, number of paragraphs, number of sentences, and others. In addition, the dataset provides complete hierarchical structure JSON (structure_json) and entity extraction JSON (extracted_json). Besides the main document dataset, it also includes two supporting stages: the embed stage provides 2048-dimensional dense vector representations, and the reduce stage provides 2D projections and cluster IDs. This dataset is applicable to a variety of natural language processing tasks, including text classification, text retrieval, question answering, text generation, summarization, etc., and is particularly suitable for AI applications and research in the legal field.

创建时间：

2026-05-20

原始信息汇总

数据集：越南国家法律数据库 (`vbpl.vn`)

语言：越南语 (vi)
许可协议：Creative Commons Attribution 4.0 International (CC-BY-4.0)
数据集大小：约 158,822 份文档 (100K < n < 1M)
任务类别：文本分类、文本检索、问答、文本生成、摘要

数据集内容

该数据集是越南国家法律数据库的文档级语料库，数据来源于由越南司法部运营的 vbpl.vn 门户网站。它收录了从中央（国会、政府、各部委）和地方（63个省市的人民议会/人民委员会）两级权力机构颁布的各类法律文件，包括法律、法令、议定、通知、决定、决议、指令等。

每条数据记录代表一份法律文件，包含：

标准化 Markdown 文本：经过越南语规范化处理（NFC标准化 + 1984年后的现代正字法）。
完整的分层结构：文档 → 章节 → 段落 → 句子，每个单元都带有稳定的ID及其在Markdown中的字符跨度。

数据规模与统计

指标	数值
文档总数	158,822
文档中位数长度	5,111 字符
文档中位数段落数	1
文档中位数句子数	17
带有结构化层级信息的文档数	158,822
带有下载附件的文档数	0
文本主体来源：`body_html`	147,317 (92.8%)
文本主体来源：`shell_html` (无正文)	11,505 (7.2%)

数据结构与模式

数据集包含三个配置（config），分别对应不同的数据处理阶段：

documents (默认)：主表，每行一份文档及其完整信息。
- 识别与元数据字段：doc_name, item_id, scope (central/provincial), source, source_url, api_url, title, doc_type (蛇形命名法英文slug), legal_type (越南语全称), legal_area (法律领域), so_hieu (文书编号列表), ngay_ban_hanh (发布日期), year, co_quan_ban_hanh (发布机构), trich_yeu (摘要)。
- 正文与统计字段：markdown (规范化后的Markdown文本), num_pages, num_sections, num_paragraphs, num_sentences, char_len, text_hash (SHA-256哈希), parser_model, parser_runtime, body_source, parsed_at。
- 层级与实体字段：structure_json, extracted_json, file_paths_json。
embed：包含 147,317 个可嵌入文档的稠密向量。
- 使用 nvidia/llama-nemotron-embed-1b-v2 模型生成 2048维 向量。
- 字段包括：doc_name, text_hash, embedding, embedding_dim, embedding_model_id, embedding_text_hash, embedding_chunks_used, embedding_chunking。
reduce：包含 2维投影和聚类ID，用于可视化和分析。

数据分布概览

层级范围 (Scope)

地方 (dia_phuong)：104,345 份 (65.7%)
中央 (trung_uong)：54,477 份 (34.3%)

主要文档类型 (Top 12 by `doc_type`)

英文Slug (`doc_type`)	越南语全称 (`legal_type`)	数量	占比
`quyet_dinh`	Quyết định (决定)	84,970	53.5%
`nghi_quyet`	Nghị quyết (决议)	26,091	16.4%
`thong_tu`	Thông tư (通知)	16,212	10.2%
`ban_dich_van_ban`	Bản dịch văn bản (文档翻译)	10,576	6.7%
`chi_thi`	Chỉ thị (指示)	7,908	5.0%
`nghi_dinh`	Nghị định (议定)	4,690	3.0%
`thong_tu_lien_tich`	Thông tư liên tịch (联合通知)	3,393	2.1%
`van_ban_hop_nhat`	Văn bản hợp nhất (合并文档)	1,792	1.1%
`sac_lenh`	Sắc lệnh (法令)	980	0.6%
`cong_van`	Công văn (公文)	708	0.4%
`luat`	Luật (法律)	580	0.4%
`lenh`	Lệnh (命令)	376	0.2%

主要法律领域 (Top 20 by `legal_area`)

约 71% 的文档被标记为 Chưa phân loại (未分类)。已分类的主要领域包括：

Đất đai (土地), Quản lý thuế, phí, lệ phí và thu khác của ngân sách nhà nước (国家预算的税收、费用征管), Lĩnh vực giá (价格领域), Tổ chức- Biên chế (组织与编制), Lao động, tiền lương, tiền công (劳动、工资) 等。

主要发布机构 (Top 15)

发布机构	数量	占比
Bộ Tài chính (财政部)	11,793	7.4%
Thủ tướng Chính phủ (政府总理)	7,849	4.9%
Chính phủ (政府)	7,168	4.5%
UBND Thành phố Hồ Chí Minh (胡志明市人民委员会)	5,312	3.3%
Bộ Nông nghiệp và Phát triển nông thôn (农业与农村发展部)	2,526	1.6%
UBND Tỉnh Lào Cai (老街省人民委员会)	2,497	1.6%
UBND Tỉnh Nghệ An (乂安省人民委员会)	2,477	1.6%
UBND tỉnh Bình Phước (平福省人民委员会)	2,410	1.5%
Ngân hàng Nhà nước Việt Nam (越南国家银行)	2,198	1.4%
UBND Thành phố Hà Nội (河内市人民委员会)	2,123	1.3%
UBND thành phố Đà Nẵng (岘港市人民委员会)	2,018	1.3%
UBND tỉnh Bà Rịa - Vũng Tàu (巴地头顿省人民委员会)	1,956	1.2%
Bộ Giao thông vận tải (交通运输部)	1,925	1.2%
UBND Thành phố Hải Phòng (海防市人民委员会)	1,885	1.2%
UBND Tỉnh Gia Lai (嘉莱省人民委员会)	1,765	1.1%

数据来源

文档内容主要来自门户网站的API返回的HTML正文 (body_html)，少部分来自仅包含元数据且无正文的旧版文档 (shell_html)。管道优先处理下载的附件（PDF/DOC/DOCX）。

使用示例 (Python)

python import json from datasets import load_dataset

ds = load_dataset("tmquan/vbpl-vn", split="train") row = ds[0] print(row["doc_type"], row["so_hieu"], row["ngay_ban_hanh"]) print(row["title"])

structure = json.loads(row["structure_json"]) for sec in structure.get("sections", []): print(sec["kind"], sec["label"])

搜集汇总

数据集介绍

构建方式

该数据集依托于越南司法部运营的vbpl.vn门户，系统性地采集了该国国家法律数据库中的158,822份法律文献。数据覆盖中央与地方两级立法机构颁布的法律、法令、决议、通知、决定等各类规范性文件。每份文档经过完整的自然语言预处理流程，包括统一为NFC标准化格式、应用1984年后现代越南语正字法，并转化为结构化的Markdown文本。在此基础上，数据集进一步构建了从文档到章节、段落直至句子的层级结构树，为每个语义单元分配了稳定的标识符及其在原始Markdown文本中的字符跨度索引。

特点

该语料库兼具规模与结构化深度，文档数量逾15万篇，中位字符数逾五千。数据集按照中央与地方两大管辖范围进行划分，其中地方性法规占比约65.7%，反映了越南法律体系中地方立法的活跃程度。文档类型通过自描述的蛇形命名法编码，便于直接识别而无需查阅对照表。此外，数据集提供了约250个法律领域标签，并借助密集向量嵌入与降维投影，为跨文档语义检索与聚类分析奠定了坚实基础。

使用方法

用户可通过HuggingFace的datasets库便捷加载数据，支持直接访问文档级信息或层级结构。核心配置'documents'返回原始文本、元数据及结构化的JSON字段；'embed'配置提供由nvidia/llama-nemotron-embed-1b-v2模型生成的2048维稠密向量，适合语义搜索与相似度计算；'reduce'配置则包含PCA、t-SNE及UMAP降维后的二维投影与聚类标识，可用于可视化分析。各配置均以doc_name为主键，支持跨表无缝关联查询。

背景与挑战

背景概述

越南国家法律数据库（vbpl.vn）由越南司法部运营，自2025年起由研究团队构建并发布，旨在提供一套涵盖中央与地方（63个省市）立法文本的大规模语料库。该数据集收录了158,822份法律文件，包括法律、法令、决议、决定、通知等，每份文件均标注了详细的元数据（如法律领域、颁布机构、年份）及层级结构（文档→章节→段落→句子），并经过越南语标准化处理（NFC与现代正字法）。作为越南首个公开的法律文本语料库，它填补了低资源法律NLP领域的空白，为法律检索、问答、摘要、生成等任务提供了高质量的基础资源，对推动越南法律人工智能研究具有里程碑意义。

当前挑战

该数据集面临的核心领域挑战在于法律文本的复杂语义理解，例如文档类型多样（含64种slug标签）、法律领域分类稀疏（约71%的文档未归类），以及跨层级（中央与地方）的语义差异。构建过程中，技术挑战包括从vbpl.vn门户解析反爬虫HTML与多格式附件（PDF/DOCX），清洗遗留CMS迁移导致的冗余样式代码（约42%的markdown体积被优化），并保留越南语特有名词（如Đắk R'lấp）的完整性。此外，约7.2%的文档仅存元数据而无正文，需要明确标注以保证数据透明度。

常用场景

经典使用场景

在越南法律文本的自然语言处理研究中，vbpl-vn数据集常被用于文本分类任务，例如依据法律领域（如土地、税务、环境等）和发布机构层级对近16万份法律文件进行自动归类。研究人员利用其丰富的元数据字段（如doc_type、legal_area），能够训练出精准的法律文档分类器，从而实现对越南中央及地方立法、行政规范性文件的高效整理与检索。

衍生相关工作

基于该数据集，衍生出多项具有影响力的研究工作，包括面向越南法律领域的词嵌入与预训练语言模型（如PhoBERT的法律微调版），以及融合结构层级信息的法律文本摘要生成模型。此外，研究者开发了基于该语料的跨语言法律信息检索基准，并构建了越南首个开放法律知识图谱。这些成果进一步催化了针对东南亚小语种的法律人工智能生态建设。

数据集最近研究