vbpl-vn-legal-corpus

VBPL.vn越南法律语料库是一个从越南司法部国家法律数据库（vbpl.vn）爬取并整理的越南中央级法律文本集合，旨在为法律信息检索、问答、文本分类以及图分析等任务提供结构化、高质量的越南语法律资源。数据内容涵盖越南中央层级（如国会、政府、部委等）发布的法律文件，包括法律、决议、法令、通知等多种类型。数据集核心部分是一个包含约4.2万份法律文件的主表（vanban.parquet），每份文件对应约50个字段，详细记录文件的身份信息（如文号、标题、类型）、发布机构、相关日期（颁布、生效、失效）、效力状态、领域分类以及文本内容。此外，数据集还提供了按“条/款”级别划分的文本块（chunks.parquet），共计约44.7万个块，平均长度约600个词元，适合用于检索增强生成（RAG）等场景。同时，数据集构建了一个法律文件间的引用关系图，图结构通过edges.jsonl文件定义，包含约3.7万条边，描述了14种不同类型的关系（如引用、修订、替代、废止、基于、合并等），可用于分析法律文件之间的网络关联。数据集文件以Parquet和JSONL格式提供，便于使用Pandas等工具进行高效加载和处理，适用于法律信息检索、智能问答系统、法律文本分类、法律知识图谱构建以及法律人工智能研究等多个领域。

The VBPL.vn Vietnamese Legal Corpus is a collection of central-level Vietnamese legal texts crawled and organized from the National Legal Database (vbpl.vn) of the Ministry of Justice of Vietnam. It is designed to provide structured, high-quality Vietnamese legal resources for tasks including legal information retrieval, question answering, text classification, and graph analysis. The dataset covers legal documents issued by Vietnamese central authorities such as the National Assembly, the Government, and ministerial bodies, encompassing various types like laws, resolutions, decrees, and notices.

The core component of the dataset is a main table (vanban.parquet) containing approximately 42,000 legal documents. Each document corresponds to around 50 fields, which detailedly record the document's identification information (e.g., document number, title, type), issuing institution, relevant dates (promulgation, effective, and expiry), validity status, domain classification, and full text content.

Additionally, the dataset provides text chunks segmented at the "article/clause" level (chunks.parquet), with a total of approximately 447,000 chunks and an average length of about 600 tokens. These chunks are suitable for scenarios such as Retrieval-Augmented Generation (RAG).

Furthermore, the dataset constructs a citation relationship graph among legal documents, which is defined in the edges.jsonl file. This graph contains roughly 37,000 edges, describing 14 distinct types of relationships including citation, revision, replacement, repeal, basis, merger, and others, enabling analysis of network associations between legal documents.

The dataset files are provided in Parquet and JSONL formats, facilitating efficient loading and processing with tools such as Pandas. It is applicable to multiple fields including legal information retrieval, intelligent question answering systems, legal text classification, legal knowledge graph construction, and legal artificial intelligence research.

原始信息汇总

VBPL.vn — 越南法律语料库（Vietnamese Legal Corpus）

基本信息

• 数据集名称: VBPL.vn Vietnamese Legal Corpus
• 语言: 越南语 (vi)
• 许可协议: CC-BY-SA-4.0
• 数据集规模: 1K < n < 10K
• 任务类型: 文本检索、问答、文本分类
• 标签: 法律、越南语、RAG、图

数据来源

• 源网站: vbpl.vn（越南司法部国家法律数据库）
• API: https://vbpl-bientap-gateway.moj.gov.vn/api
• 范围: 中央级法律文本（国会、政府、各部委等）

数据文件结构

主数据文件 (data/ 目录)

文件	格式	描述
vanban.parquet	Parquet	主表，每行对应一份法律文本（约50列）
vanban.jsonl	JSONL	与 vanban.parquet 等价的 JSONL 格式
nodes.jsonl	JSONL	图数据节点，每行一个文档的核心字段
edges.jsonl	JSONL	图数据边，约3.7万条引用关系
vanban_process.parquet	Parquet	文本清洗后的中间结果（可选）
chunks.parquet	Parquet	按“条/款”分割的文本块，约45万块（推荐用于查询）
chunks.jsonl	JSONL	与 chunks.parquet 等价的 JSONL 格式
provision_relations.jsonl	JSONL	条款级别的关系（修改关系）

报告文件 (reports/ 目录)

• stats_all.md：整个语料库的统计报告
• stats_<loai>.md：按法律文本类型分类的统计报告
• charts_all/：全局图表目录
• charts_<loai>/：按类型分类的图表目录

主要 Schema

vanban.parquet 字段分组

分组	主要字段
标识	id, so_ky_hieu, title, loai_van_ban, loai_van_ban_code
机构	co_quan_ban_hanh, organization_id, organization_name
日期	ngay_ban_hanh, ngay_co_hieu_luc, ngay_het_hieu_luc（含 _iso 格式）
状态	tinh_trang_hieu_luc, linh_vuc, nganh, doc_status, lang
标记	is_lw, is_consolidated, is_constitution, is_administrative 等
关系（JSON）	references_json, document_issues_json, document_related_list_json, provision_tree_json
文本	text_clean, has_text

edges.jsonl 图数据格式

每行表示两个法律文本之间的关系： json { "source_doc_id": "32801", "source_so_ky_hieu": "Không số", "target_doc_id": "96118", "target_so_ky_hieu": "96/2015/QH13", "target_title": "Luật Trưng cầu ý dân...", "reference_type": 10, "relation_type": "CITES", "source": "meta.references" }

关系类型（14种）: CITES, AMENDS, REPLACES, REPEALS, BASED_ON, CONSOLIDATES 等

使用示例

加载表格数据

python import pandas as pd df = pd.read_parquet(hf://datasets/Monmoonluna/vbpl-vn-legal-corpus/data/vanban.parquet)

加载文本块（适合 RAG）

python chunks = pd.read_parquet(hf://datasets/Monmoonluna/vbpl-vn-legal-corpus/data/chunks.parquet)

约 447k 个块，平均约 600 token

构建图

python import networkx as nx edges = pd.read_json(hf://datasets/Monmoonluna/vbpl-vn-legal-corpus/data/edges.jsonl, lines=True) G = nx.DiGraph() for _, e in edges.iterrows(): G.add_edge(e[source_so_ky_hieu], e[target_so_ky_hieu], relation=e[relation_type])

许可说明

• 越南法律文本属于公共领域（public domain）
• 代码和脚本以 CC-BY-SA-4.0 许可证发布

代码仓库

完整爬取和处理代码见：https://github.com/Monmoonluna/LEGALSEARCHVN_LOCALAI

搜集汇总

数据集介绍

构建方式

该数据集通过对越南司法部国家法律数据库vbpl.vn进行系统化爬取而构建，数据源采用官方API接口，聚焦于中央层级法律文本，涵盖国会、政府及各部委颁布的规范性文件。语料库以Parquet与JSONL双格式存储主表，包含约50个字段的元数据与全文文本。为支持图结构检索与细粒度查询，数据集进一步构建了约37,000条文档间关联边（涵盖引用、修订、废止等14种关系类型），并将法律文本按条款粒度切分为约447,000个语义片段。整体处理流程包括数据清洗、关系抽取与层级分割，最终生成结构化表格、知识图谱与检索单元三层次资源。

特点

该语料库的核心特色在于其多层次结构化设计：主表提供完整元数据（含法律效力状态、颁布机关、生效日期等），便于统计分析与分类任务；图结构数据通过显式编码法律文本间的引用、修正、替代等关系，支持构建法律知识图谱，实现跨文档的逻辑推理；约450K的条款级文本块平均长度为600 token，兼具语义完整性与检索效率，特别适配RAG系统的向量化索引与精准召回。此外，数据集还包含修正关系数据，可追踪法律条文的演化轨迹，适用于时序法律语义分析。

使用方法

数据集支持灵活接入多种法律AI任务。用户可通过读取vanban.parquet获取42,000余份越南法律文本的完整元数据与全文，用于文本分类或法律检索。对于问答与RAG应用，建议直接使用预切分的chunks.parquet，其条款级粒度可显著提升检索精准度。若需构建法律知识图谱，可利用edges.jsonl文件中的关系三元组快速生成有向图，进而执行路径查询与逻辑推理。数据可通过Hugging Face Datasets库或直接使用Pandas读取Parquet文件获取，官方GitHub仓库提供了完整的爬取与处理流水线代码。

背景与挑战

背景概述

VBPL.vn越南法律语料库（vbpl-vn-legal-corpus）由研究团队于近期构建，源自越南司法部运营的国家法律数据库vbpl.vn，旨在系统化收录越南中央级法律文本（包括国会、政府及各部委发布的规范性文件）。该数据集覆盖约42,000份法律文档，并进一步划分为447,000个细粒度文本块，同时构建了包含约37,000条边的关系图谱，明确文档间的引用、修订、替代等14种关联类型。作为首个大规模、高质量的越南法律开源语料库，它显著推动了法律文本检索、问答系统及图结构分析等自然语言处理任务在越南法律领域的发展，为低资源法律NLP研究提供了宝贵的基础设施。

当前挑战

该数据集应对的核心领域挑战在于越南法律文本的复杂层级结构与多义性表述，使得信息检索与语义理解任务面临非标准化术语（如法律条款嵌套引用）的障碍。构建过程中遭遇的主要困难包括：从仅开放部分API的政府网站进行大规模爬取时需处理反爬机制与接口限制；法律文档存在的多种格式（如PDF扫描件、非结构化HTML）导致文本清洗与结构化困难；法律文书中跨文档的隐含引用关系（如条款的间接修改）需要人工校验与自动化推理相结合，以保证关系图谱的准确性；此外，语料库中约600词的平均块长度与密杂的法律引用链也对基于检索增强生成（RAG）应用的检索效率与推理连贯性提出了更高要求。

常用场景

经典使用场景

在越南法律文本挖掘领域，vbpl-vn-legal-corpus数据集被广泛用作法律信息检索与问答系统的基石。其精心构建的文本分块结构，将原始法律文档按条款粒度切分为约45万条标准化片段，每条平均包含600个token，非常适合作为检索增强生成（RAG）流水线的知识语料库。研究者通常利用该数据集的全文索引和元数据字段，结合稠密或稀疏检索模型，实现高精度的法律条文定位。同时，数据集中提供的图结构边信息，使得基于知识图谱的语义检索成为可能，支持跨文档的引用关系推理，从而显著提升复杂法律查询的应答质量。这一经典应用场景为越南法律领域的人工智能研究提供了标准化的基准测试平台。

解决学术问题

该数据集有效解决了越南法律文本分析中结构化数据稀缺这一长期困扰学术界的核心问题。它系统性地整合了来自越南司法部国家法律数据库的42,000余份中央级法律文件，覆盖国会、政府、各部委颁布的各类规范性文本，并标准化了文档标识、颁布机构、生效日期、法律效力状态等多维元数据。通过提供清晰的法律关系拓扑（涵盖引用、修订、替代、废止等14种关系类型），该数据集支撑了法律知识图谱构建、法律文本演化追踪和法律效力传播等前沿研究。它使学者得以从大规模实证角度探讨法律体系的层级结构、规范冲突检测及法律变迁模式，为计算法学在越南的学术发展奠定了坚实的数据基础。

衍生相关工作

基于vbpl-vn-legal-corpus数据集，学术社区已衍生出多项开创性工作。在模型层面，研究者以此语料为基础微调预训练语言模型，形成了专门针对越南法律文本的领域语言模型。在任务层面，该数据集催生了法律条款级语义相似度匹配基准、法律关系抽取挑战赛以及法律问答排行榜。特别值得一提的是，其图结构数据被用于验证图神经网络在法律推理中的有效性，相关成果促进了法律知识图谱嵌入方法的发展。文献中已有多篇论文利用该数据集比较不同检索策略对RAG系统性能的影响，并分析了法律文本分块粒度与问答准确率之间的权衡关系。这些衍生工作不仅拓展了计算法学的研究边界，也为东南亚语言的法律自然语言处理技术树立了标准参照系。