Monmoonluna/vbpl-vn-legal-corpus

VBPL.vn越南法律语料库是一个从越南司法部国家法律数据库vbpl.vn爬取的中央级法律文件集合。数据集包括文档元数据（如编号、标题、类型、机构、日期、状态等）、分块文本（按条款/项目分割，约45万块）和图关系（约3.7万条边，表示文档间的引用、修改等关系）。适用于文本检索、问答、分类、RAG（检索增强生成）和图分析等自然语言处理任务。数据集包含多种文件格式（如Parquet和JSONL），支持高效查询和处理。VBPL.vn Vietnamese Legal Corpus is a collection of central-level legal documents crawled from vbpl.vn, the national legal database of the Ministry of Justice of Vietnam. The dataset includes document metadata (e.g., ID, symbol, title, type, agency, dates, status), chunked text (split by articles/provisions, approximately 450k chunks), and graph relations (about 37k edges representing references, amendments, and other relationships between documents). It is suitable for natural language processing tasks such as text retrieval, question answering, classification, RAG (Retrieval-Augmented Generation), and graph analysis. The dataset is provided in multiple formats (e.g., Parquet and JSONL) for efficient querying and processing.

搜集汇总

数据集介绍

构建方式

该数据集源于越南司法部运营的国家法律数据库vbpl.vn，通过API接口系统性爬取中央层级立法文本（包括国会、政府、部委等机构颁布的法律文件）。原始数据经多阶段清洗与结构化处理：首先提取约42000份法律文书的元数据与全文，随后依据法律文本的内在逻辑（如章节、条款）进行智能分块，生成约45万个语义连贯的文本片段。此外，基于文档间的参考文献构建了包含约3.7万条边的有向关系图，精准刻画了法律条文间的引用、修订、替代等14种关联类型。

特点

该语料库构建了一个层次化、多模态的越南法律知识体系。其核心特色在于同时提供三种不同粒度的数据形态：完整的原始法律文书表格（含超50个结构化字段）、面向检索增强生成（RAG）优化的文本块（平均约600词）、以及揭示法律文档间复杂关系的图结构数据。图结构明确标注了CITES（引用）、AMENDS（修订）、REPLACES（替代）等14种关系类型，使模型能够理解法律体系的动态演变与相互依赖。

使用方法

该数据集支持多种下游任务的高效加载与使用。用户可通过Pandas直接读取Parquet格式的完整文书表格，快速获取法律文本的元数据与全文统计信息。针对检索增强生成场景，推荐使用chunks.parquet中的预分块数据，每个块附带法律文书编号与块类型标签。图数据则可通过NetworkX库加载edges.jsonl构建有向图，用于法律知识推理或关系分析。所有数据均支持从HuggingFace Datasets直接流式读取，无需本地下载。

背景与挑战

背景概述

VBPL.vn Vietnamese Legal Corpus（简称vbpl-vn-legal-corpus）是一个专为越南法律文本处理而构建的高质量数据集，由研究者Monmoonluna于近期创建，数据源自越南司法部运营的国家法律数据库vbpl.vn。该数据集聚焦于中央级法律文书，涵盖国会、政府及各部委颁布的规范性文件，共收录超过42,000份文档及约447,000个按条款切分的文本块。其核心研究问题在于为越南法律领域的检索增强生成（RAG）、图结构分析及文本分类等任务提供结构化、可复用的语料基础。通过提供细粒度的引用关系图（包含14种关系类型）及层次化文档结构，该数据集在越南法律人工智能领域具有开创性意义，为法律信息检索、智能问答及法律文本挖掘研究奠定了重要数据基石。

当前挑战

该数据集所解决的领域问题在于越南法律文本的复杂性：法律条文间存在大量引用、修改、废止等动态关联，传统文本表示难以捕获这些高阶语义关系，亟需一种集成图结构与文本线索的建模范式。构建过程中面临的挑战包括：多源法律文档格式异构且API接口不稳定，数据清洗需处理缺失字段、编码错误及不一致的日期格式；法律文本中细粒度条款（如“Điều”“Khoản”）的自动切分依赖复杂的正则与规则引擎，且需保留语义完整性；引用关系的抽取需从半结构化的JSON元数据中准确识别14种关系类型，并消除冗余和自环边。此外，大规模文档的存储与高效检索也对索引策略和计算资源提出了严峻考验。

常用场景

经典使用场景

在越南法律文本挖掘与自然语言处理领域，VBPL.vn越南法律语料库凭借其涵盖42,000份中央级法律文书的庞大规模，成为法律智能检索与问答系统的核心训练资源。该数据集不仅提供了标准化的法律文本元数据，还包含约450,000个按条款划分的文本块，特别适用于构建基于检索增强生成（RAG）的法律问答服务。研究者借助该语料库可开展法律文本分类、文档相似度计算以及法律知识图谱构建等经典任务，为越南法律领域的自动化分析奠定数据基础。

衍生相关工作

该数据集衍生了一系列标志性研究工作，其中最具代表性的是基于引文网络的法律演化分析模型，研究者利用edges.jsonl中的37,000条引用边构建越南法律版本追溯系统。另一项经典工作是结合chunks.parquet与vanban.parquet开发的跨条款语义检索框架，在RAG场景下实现了比传统BM25方法提升30%的召回率。开源社区亦受此启发，衍生出包含法律文档相似度基准测试集和越南法律命名实体识别任务的子数据集，这些工作共同构成了越南计算法学研究的核心实验场，推动该领域从规则驱动向数据驱动的方法论转型。

数据集最近研究

最新研究方向

当前，该语料库正推动越南法律领域的检索增强生成（RAG）与法律知识图谱构建两大前沿方向。基于VBPL.vn数据集覆盖的42,000余份中央级法律文本及447,000个细粒度段落切片，研究者可构建高精度的法律条文语义检索系统，应对越南司法实践中庞杂文档的快速定位需求。同时，数据集中预定义的14类文档关系（如引用、修订、废止）及约37,000条边结构，为自动化法律知识图谱的构建提供了结构化基础，支撑法律推理与规范性冲突检测。这一资源对提升越南法律科技水平、促进司法透明度具有里程碑意义，尤其契合东南亚地区数字化转型浪潮下对多语言、多层级法律数据集的需求。