harryph/vn_books_main

该数据集包含多个越南语故事的特征信息，涵盖了故事的类别、作者、名称、来源、文本内容以及多种故事类型的标签。数据集分为训练集，包含19900个样本，总大小为217350477字节。

This dataset contains feature information of multiple Vietnamese stories, including categories, authors, story names, sources, text content, and labels for various story types. The dataset is divided into a training set, containing 19,900 samples with a total size of 217,350,477 bytes.

原始信息汇总

数据集概述

数据集信息

特征

• Id: 类型为 int64
• Thể loại: 类型为 string
• Tác giả: 类型为 string
• Tên truyện: 类型为 string
• Nguồn: 类型为 string
• Text: 类型为 string
• Truyện Ngắn: 类型为 int64
• Truyện Dài: 类型为 int64
• Biên Khảo, Tùy Bút, Tản Văn: 类型为 int64
• Lịch Sử, Dã Sử: 类型为 int64
• Thần Thoại, Cổ Tích: 类型为 int64
• Kiếm Hiệp: 类型为 int64
• Trung Hoa: 类型为 int64
• Hài Hước, Tiếu Lâm: 类型为 int64
• Khoa Học, Kỹ Thuật: 类型为 int64
• Teen, Tuổi Hoa, Thiếu Nhi: 类型为 int64
• Kinh Dị, Ma Quái: 类型为 int64
• Trinh Thám, Hình Sự: 类型为 int64
• Cổ Văn Việt Nam: 类型为 int64
• Tập Truyện Ngắn: 类型为 int64
• Suy Ngẫm, Làm Người: 类型为 int64
• Nhân Vật, Chân Dung: 类型为 int64
• Triết Học, Kinh Tế: 类型为 int64
• Y Học, Sức Khỏe: 类型为 int64
• Tình Cảm, Lãng Mạn: 类型为 int64
• Phiêu Lưu, Mạo Hiểm: 类型为 int64
• Hồi Ký, Tự Truyện: 类型为 int64
• Kinh Điển: 类型为 int64
• Tiểu Thuyết: 类型为 int64
• Tôn Giáo, Chính Trị: 类型为 int64
• Truyện Tranh: 类型为 int64
• Cuộc Chiến Vn: 类型为 int64
• Kịch, Kịch Bản: 类型为 int64
• Khoa Học Huyền Bí: 类型为 int64
• Khoa Học, Giả Tưởng: 类型为 int64
• Tiên Hiệp: 类型为 int64
• Tâm Lý, Xã Hội, Hiện Thực: 类型为 int64
• Phóng Sự, Điều Tra: 类型为 int64
• Thơ, Trường Ca: 类型为 int64
• Văn Học Miền Nam Trước 75: 类型为 int64
• Nhiều chương: 类型为 bool

数据分割

• train: 包含 19900 个样本，占用 217350477 字节

数据集大小

• 下载大小: 110967582 字节
• 数据集大小: 217350477 字节

配置

• config_name: default
  • data_files:
    • split: train
    • path: data/train-*

搜集汇总

数据集介绍

构建方式

在越南文学与学术研究的数字化进程中，harryph/vn_books_main数据集应运而生。该数据集通过系统性地采集并整合越南语书籍资源构建而成，共包含19,900个训练样本，数据总量约217 MB。每条记录均包含唯一标识符（Id）、书籍类别（Thể loại）、作者（Tác giả）、书名（Tên truyện）、来源（Nguồn）以及全文文本（Text）。构建过程注重结构化存储，将书籍按照题材划分为数十个细分类别，如短篇故事、长篇小说、历史传记、武侠奇幻、科普技术等，并以布尔或整数型字段标记其所属类型，从而形成层次分明、便于检索的语料库。

特点

该数据集最显著的特点在于其丰富而精细的题材分类体系。除了通用的书籍元数据外，数据集提供了多达35个二进制类别字段，覆盖从古典文学、武侠仙侠到现代悬疑、科幻、心理社会等多元领域，还特别收录了越南南方1975年前文学、越南战争相关题材等具有地域历史特色的内容。此外，数据集通过“多章节”（Nhiều chương）布尔字段区分长篇与短篇作品，为不同长度的文本分析提供了便利。这种多维度的结构化标注方式，使得数据集在文本挖掘、主题分类及文化研究等领域具备极高的应用价值。

使用方法

使用该数据集时，可通过Hugging Face的datasets库直接加载并访问。用户只需指定数据集名称harryph/vn_books_main，即可获取包含所有字段的训练集。在具体应用中，可依据类别字段进行过滤，例如筛选“Tình Cảm, Lãng Mạn”（情感浪漫）或“Khoa Học, Kỹ Thuật”（科学技术）等特定题材的文本进行自然语言处理任务。文本内容存储于Text字段，可直接用于语言模型预训练、文本分类模型训练或文学风格分析等研究。数据集以Parquet格式存储，支持高效的数据读取与分布式处理。

背景与挑战

背景概述

在自然语言处理与数字人文交叉领域，越南语文本资源的稀缺长期制约着相关研究的发展。由harryph等人构建的vn_books_main数据集于近年发布，旨在系统性地收录越南语文学作品，涵盖从古典到现代、从虚构到非虚构的多元类别，包括历史、哲学、科幻、武侠、爱情等38种题材。该数据集包含约19900条文本记录，总计超过2亿字节，其核心研究问题在于为越南语文本分类、主题建模、风格分析及低资源语言的自然语言处理任务提供标准化基准。作为首个大规模、多标签的越南语书籍语料库，该数据集填补了越南语在计算语言学领域的数据空白，为东南亚语言信息处理研究开辟了新路径。

当前挑战

该数据集面临的挑战主要体现在两个层面。在领域问题层面，越南语作为资源匮乏语言，其文本分类任务长期受限于标注数据不足与类别不平衡问题，数据集虽涵盖38种题材，但部分类别样本量稀疏，容易导致模型过拟合或分类偏差。在构建过程中，数据采集面临越南语文本数字化程度低、版权限制及多源异构格式的整合难题，同时多标签标注的准确性依赖于领域专家知识，不同题材间的语义重叠（如“奇幻”与“科幻”）增加了标注歧义风险。此外，文本长度差异悬殊（从短篇到多卷本）对模型序列处理能力提出严苛要求，而部分历史文献的现代越南语转写也可能引入语言变异噪声。

常用场景

经典使用场景

在自然语言处理与计算语言学研究领域，harryph/vn_books_main数据集凭借其丰富的越南语文学文本资源，成为训练和评估越南语预训练语言模型（如PhoBERT、XLM-R）的经典语料库。研究者常利用该数据集中涵盖的多样化文学体裁——包括短篇故事、长篇小说、历史文献、科幻作品及民间传说等——进行语言建模、文本生成与风格迁移任务的基准测试。其多标签分类结构使得模型能够学习到越南语中细腻的语义层次与文体特征，从而在低资源语言场景下显著提升模型的泛化能力与文本理解深度。

衍生相关工作

基于该数据集，学界已衍生出多项具有影响力的工作。例如，研究者利用其多标签标注特性开发了针对越南语的细粒度情感分析模型，并在ACL、EMNLP等顶级会议发表相关方法。另一经典工作是将该数据集与跨语言迁移学习结合，通过对比越南语与英语文学语料的语义空间映射，验证了多语言模型在文化特定概念上的表征局限性。此外，部分工作聚焦于该数据集中的叙事结构分析，利用图神经网络对长篇小说的人物关系与情节演变进行自动抽取，开创了越南语计算叙事学的研究方向。

数据集最近研究

最新研究方向

在自然语言处理与文化数字人文交叉领域，harryph/vn_books_main数据集为越南语文学语料库的构建与多标签分类研究提供了重要支撑。该数据集涵盖近两万部作品，横跨武侠、科幻、历史、言情等三十余种题材，其细粒度的体裁标注体系使得研究者能够深入探索越南文学中不同主题的分布规律与演变趋势。当前，前沿研究方向聚焦于利用该数据集训练多标签文本分类模型，以自动识别和归类越南语文学作品中的复合题材特征，进而推动低资源语言的文化遗产数字化与智能分析。该成果不仅有助于越南语自然语言处理技术的突破，也为东南亚区域文学的比较研究提供了标准化语料基础，具有显著的文化保护与计算人文双重价值。