thuvienphapluat-vn-tnpl

该数据集是越南法律参考门户网站“THƯ VIỆN PHÁP LUẬT”中“法律术语”板块的完整爬取结果，是一个双语（越南语-英语）法律术语平行语料库。数据集包含16,625条记录，其中16,247条为有效术语条目，378条为占位符记录。每条记录包括越南语术语名称及定义、法律领域分类（细分为47个“LinhVuc”类别，可归纳为民事、刑事等6个广泛领域）、有效性状态、时间戳和编辑者信息，以及相关术语交叉引用网络。所有越南语核心字段均配有通过Qwen3 27B大语言模型生成的机器翻译英语平行列，翻译覆盖率达100%。数据集适用于机器翻译、法律主题分类、信息检索、命名实体识别和图分析等自然语言处理任务，并提供了翻译质量量化分析（跨语言余弦相似度平均为0.829）。

This dataset is a complete crawl result from the Legal Terminology section of the Vietnamese legal reference portal THƯ VIỆN PHÁP LUẬT, forming a bilingual (Vietnamese-English) parallel corpus of legal terms. It contains 16,625 records, with 16,247 valid term entries and 378 placeholder records for deleted or non-existent terms. Each record includes the Vietnamese term name and definition, legal domain classification (divided into 47 LinhVuc categories, summarizable into 6 broad areas such as civil, criminal, etc.), validity status, timestamp and editor information, and a cross-reference network of related terms. All core Vietnamese fields (term name, definition, status, domain name, related term names) are accompanied by machine-translated English parallel columns generated by the Qwen3 27B large language model, with 100% translation coverage. The dataset is suitable for various natural language processing tasks, including machine translation, multi-category legal topic classification, bilingual information retrieval, named entity recognition, and legal term cross-reference graph analysis, with quantitative analysis of translation quality (average cross-language cosine similarity of 0.829).

原始信息汇总

数据集概述：thuvienphapluat.vn /tnpl/ — 越南法律术语（双语 VI<->EN）

基本信息

• 数据集名称: thuvienphapluat.vn /tnpl/ — Vietnamese Legal Terminology (bilingual VI<->EN)
• 来源: THƯ VIỆN PHÁP LUẬT — 一个社区贡献的越南法律参考门户
• 语言: 越南语（源语言）和英语（机器翻译）
• 许可: vietnamese-public-legal-terminology，相关许可链接：https://thuvienphapluat.vn/tnpl/
• 数据大小: 16,625 条记录（16,247 条有效 + 378 条 not_found 占位符）
• 收藏日期: 2026-05-18

数据内容

每条记录包含一个具体的法律术语，附带：

• 定义（definition_vi / definition_en）：越南语定义（保留原始法律引用），英语定义由 Qwen3 27B 模型自动翻译
• 法律领域（area_name_vi / area_name_en）：共 47 个 LinhVuc 细分类别，聚合为 6 个广义法律领域（民事、刑事、司法、商业、行政、其他）
• 效力状态（status_vi / status_en）：有效、失效、部分有效
• 编辑历史（updated_at，updated_by_vi/_en）
• 相关术语（related_term_ids，related_term_names_vi/_en）：数据集内部的交叉引用图

关键指标

指标	值
有效记录数	16,247
占位符记录数	378
主题分类数	47 LinhVuc → 6 个广义领域
翻译模型	Qwen3 27B（chat-completion）
LLM 调用次数	31,356（0 错误）
源网站提供的英文标签比例	7.0%（1,138/16,247）
时间范围	2009 年 → 2025 年（多数集中在 2020-2023 年）
英语覆盖率	100%（核心 *_en 列在有效行上）
跨语言余弦相似度均值	0.829
跨语言余弦相似度中位数	0.842
余弦相似度 > 0.8 的比例	69.5%
余弦相似度 > 0.9 的比例	18.7%

数据集配置

配置名称	分割	记录数	文件
bilingual（默认）	train	16,625	data/terms_translated.jsonl
vietnamese	train	16,625	data/terms.jsonl

• bilingual 配置包含完整的双语（VI+EN）数据
• vietnamese 配置仅包含原始越南语数据（无 *_en 列）

支持的任务

• 机器翻译/跨语言评估：16,247 对平行定义（VI-EN），带清晰来源标注（LLM vs 源网站）
• 多类别主题分类：按 area_name_vi/area_name_en 进行 47 类分类
• 双语检索/特征提取：每条记录提供参考嵌入（基于 sentence-transformers/paraphrase-multilingual-mpnet-base-v2，768维）
• 法律引用提取/法律 NER：VI 和 EN 文本中均包含高密度的法律文件引用（法律、法规、法令、通知、条款等）
• 交叉引用图分析：通过 related_term_ids 和 related_term_names_* 定义的有向图

数据字段结构

字段	类型	说明
term_id	int	主键
source	str	固定值 thuvienphapluat_vn_tnpl
source_url	str	爬取的具体 URL
slug	str	URL 别名（仅装饰性）
scraped_at / scrape_run_id	str	爬取时间戳
term_name_vi / term_name_en	str / str	标准 VI/EN 术语名称（EN 列在有效行上 100% 有值）
term_name_en_native	str?	源网站自带的英文标签（约 93% 的行该字段为 null）
term_name_source	str?	site（来自源网站）或 mt（机器翻译）
definition_vi / definition_en	str / str	VI/EN 定义文本（EN 定义始终由 LLM 翻译）
definition_source	str?	mt 或 null（not_found 行）
area_name_vi / area_name_en	str? / str?	VI/EN 法律领域名称（47 对固定映射）
area_id	int?	LinhVuc ID（1-47）
status_vi / status_en	str? / str?	效力状态（Effective / Expired / Partially effective）
updated_by_vi / updated_by_en	str? / str?	最近编辑者
updated_at_raw / updated_at	str? / str?	原始时间格式 → ISO 8601
related_term_ids	int[]	引用的相关术语 ID
related_term_names_vi / _en	str[] / str[]	相关术语的双语名称
definition_char_len / definition_word_count	int / int	VI 定义的字符数和词数
definition_hash	str?	VI 定义的 SHA-256 哈希值（去重键）
translation_model_id	str	翻译模型 ID（如 qwen/qwen3.6-27b）
translated_at	str	翻译时间戳
fetch_status	str	爬取状态（ok / not_found / http_<code> / empty_fragment / crash:<exc>）
fetch_error	str?	异常信息（当 fetch_status 以 crash: 开头时）

语义分析结果

• 跨语言余弦相似度：分布右偏，峰值约 0.84，说明 LLM 生成的英文翻译在语义上与原越南语高度一致
• 聚类结构不对称：基于 VI 嵌入的 HDBSCAN（最小簇大小=50）发现 75 个密集簇（28% 噪声），而基于 EN 嵌入仅发现 2 个宽泛簇（0% 噪声），这是 LLM 翻译产生更统一语体的典型特征
• 领域语义一致性：最一致领域为会计（0.66）、消防（0.65）、证券（0.63）、诉讼程序（0.63）；最不一致领域为其他（0.46）、医疗（0.46）、自然资源与环境（0.47）

搜集汇总

数据集介绍

构建方式

该数据集通过对越南法律参考门户网站THƯ VIỆN PHÁP LUẬT中“Thuật ngữ pháp lý”（法律术语）板块的全面爬取构建而成。每条记录对应一个具体的越南语法律术语，包含其越南语定义、所属法律领域（共47个细分类别，可归纳为6大领域）、有效性状态、编辑历史及交叉引用关系。为构建双语语料，所有越南语字段均通过Qwen3 27B聊天补全模型自动翻译为英语，同时保留原文中的法律条文引用。数据集最终包含16,247条有效记录及378条占位符（用于标记已删除或不存在条目），共生成31,356次LLM调用且零错误。

使用方法

用户可通过Hugging Face的`datasets`库便捷加载：默认配置`bilingual`会加载包含所有越南语及英语字段的平行语料，共16,625条；指定`name="vietnamese"`则仅获取原始越南语数据（无英语列）。该数据集适用于多类下游任务，包括基于47个法律领域的多分类文本分类、法律NER及引文提取、跨语言语义检索，以及利用`related_term_ids`字段进行的交叉引用图分析。每条记录的`definition_source`和`term_name_source`字段可帮助用户区分LLM翻译与原始网站标注。

背景与挑战

背景概述

在自然语言处理与法律信息学交叉领域，高质量的双语法律术语资源极为稀缺，特别是对于越南语这一低资源语言。为此，数据集thuvienphapluat-vn-tnpl于2026年由研究团队从社区贡献的越南法律参考门户THƯ VIỆN PHÁP LUẬT爬取并构建，收录了16,625条法律术语记录，每条均包含越南语定义、法律领域分类、效力状态及跨引用关系，并采用Qwen3 27B模型自动生成高质量的英文平行翻译。该数据集旨在填补越南语-英语法律平行语料库的空白，为机器翻译评估、多标签文本分类、跨语言信息检索以及法律实体识别等下游任务提供基准资源，其47细粒度主题分类与跨引用图结构也为法律本体研究开辟了新路径，对推动越南法律领域的计算语言学发展具有奠基性意义。

当前挑战

该数据集所解决的领域核心挑战在于法律术语的跨语言对齐与语义保真度难题：法律文本具有高度专业性、严谨性与文化依赖性，自动翻译极易导致歧义或信息丢失，传统机器翻译模型难以精准捕捉越南语法律条文中的引用结构与概念边界。在构建过程中，团队面临多重困难：源网站结构动态变化导致约378条占位符记录，需保留以审计数据空白；社区贡献的越南语定义存在重复哈希簇（254组）与不一致的更新历史；自动翻译后的英文文本因LLM生成风格均一化，破坏了原始语料中越南语侧由HDBSCAN聚类识别的75个细粒度语义簇，仅形成2个宽泛英文簇，且极短的科技术语（如“Ra-đa”）在跨语言嵌入空间中余弦相似度偏低，需人工标记而非直接拒斥。

常用场景

经典使用场景

该数据集在自然语言处理领域最经典的用途之一是构建越南语与英语之间的法律术语平行语料库。研究人员可借助其提供的16,247条高质量双语对齐条目，开展法律文本的机器翻译、跨语言信息检索以及多语言语义匹配等任务。每条记录均包含越南语法律术语的权威定义及其经由大语言模型翻译的英文对应文本，并附有领域分类、效力状态和交叉引用关系，为跨语言法律知识系统的训练与评估提供了结构化的基准资源。

解决学术问题

在计算语言学和法律信息学交叉研究中，该数据集核心解决了法律概念跨语言对齐不充分和领域标注匮乏两大难题。通过系统化收录47个法律子领域的双语术语及定义，它支持学者深入探究法律语言在跨语境下的语义一致性，并为监督式法律文本分类、多标签主题识别和术语抽取提供了可靠的标注样本。这些资源显著推动了越南法律知识的数字化进程，促进了低资源语言在法律人工智能领域的实证研究。

实际应用

在实际应用中，该数据集对司法辅助技术平台的构建具有重要价值。法律科技企业可利用其训练面向越南法律文本的智能检索系统，支持律师和公民以自然语言快速查询相关法条与判例。此外，双语术语资源可嵌入到涉外法律咨询平台中，辅助跨语言合同审查和合规性分析。行政机关亦能基于该数据开发自助式法律知识科普工具，提升公众对专业法条的理解效率。

数据集最近研究

最新研究方向

该数据集聚焦于越南法律术语的双语平行语料构建与语义对齐研究，前沿方向涵盖利用大语言模型（如Qwen3 27B）实现高质量越南语-英语法律术语自动翻译与跨语言评估，并深入分析翻译语义保真度（平均余弦相似度达0.829）。研究热点包括基于UMAP降维与HDBSCAN聚类的多语言嵌入空间一致性探测，揭示LLM翻译导致语域同质化现象（越南语侧发现75个密集簇而英语侧仅2个宽泛簇），以及面向法律NER、多标签主题分类（47个细粒度法律领域）和跨引用图分析的基准构建。该工作为低资源法律领域跨语言理解提供了全链路的术语级对齐资源，推动了越南法律文本的国际化可访问性与计算法律学研究。