ngocthanhdoan/vietnerm-gplx-dataset

--- language: vi tags: - ner - vietnamese - document-ai - gplx - synthetic-data task_categories: - token-classification size_categories: - 1K<n<10K license: mit --- # VietNerm — gplx NER Dataset Synthetic BIO-tagged NER dataset for Vietnamese **gplx** document entity extraction. ## ⚠️ DISCLAIMER: SYNTHETIC / MOCKUP DATA > **Dataset này được sinh hoàn toàn tự động từ template (synthetic/mockup data), KHÔNG chứa dữ liệu cá nhân thật.** - Tất cả dữ liệu được **sinh tự động** bằng hệ thống Jinja2 template + random generator - **Không** sử dụng giấy tờ thật, thông tin cá nhân thật, hoặc dữ liệu thu thập từ người dùng - Số định danh (ID, CCCD...) được sinh ngẫu nhiên, thiết kế để **không trùng** với dữ liệu thật - Dữ liệu có inject nhiễu OCR (noise) để giả lập điều kiện thực tế - Mục đích: **nghiên cứu AI, Document AI, OCR/NER pipeline** - **Không** được sử dụng để giả mạo giấy tờ, tạo giấy tờ giả, lừa đảo hoặc gian lận ## Dataset Description This dataset contains BIO-tagged token sequences for training NER models on Vietnamese **gplx** documents. Data is synthetically generated with OCR noise simulation for robustness. ### Dataset Statistics | Split | Samples | |--------|---------| | Train | 1800 | | Test | 200 | ### Labels | Label | Type | |-------|------| | `id2label` | — | | `label2id` | — | | `labels` | — | ## Format Each sample is a JSON object with two fields: | Field | Type | Description | |------------|----------------|-------------------------------------| | `tokens` | `List[str]` | Whitespace-tokenized words | | `ner_tags` | `List[str]` | BIO label for each token | ## Data Mockup Example Below is a representative (synthetic) sample from the dataset: ```json { "tokens": [ "CỘNG", "HÒA", "XÃ", "HỘI", "CHỦ", "NGHĨA", "VIỆT", "NAM", "Độc", "lập", "-", "Tự", "do", "-", "Hạnh", "phúc", "SOCIALIST", "REPUBLIC", "OF", "VIET" ], "ner_tags": [ "O", "O", "O", "O", "O", "O", "O", "O", "O", "O", "O", "O", "O", "O", "O", "O", "O", "O", "O", "O" ] } ``` ## Usage ```python from datasets import load_dataset dataset = load_dataset("ngocthanhdoan/vietnerm-gplx-dataset") train = dataset["train"] # Access a sample sample = train[0] print(sample["tokens"]) # ['CĂN', 'CƯỚC', 'CÔNG', 'DÂN', ...] print(sample["ner_tags"]) # ['O', 'O', 'O', 'O', ...] ``` ## Training the NER Model This dataset is used to train the companion model [`ngocthanhdoan/phobert-gplx-ner`](https://huggingface.co/ngocthanhdoan/phobert-gplx-ner). ```python from vietnerm import VietNerm ner = VietNerm(doc_type="gplx", hf_username="ngocthanhdoan") result = ner.extract("your document OCR text here") print(result) ``` ## Ethical Use This dataset is built for **research and development purposes only**: - ✅ AI/NLP research - ✅ Document AI development - ✅ OCR/NER pipeline prototyping - ✅ Educational purposes - ❌ Forging documents - ❌ Creating fake identity papers - ❌ Fraud or deception ## About VietNerm VietNerm is a Document AI Factory for Vietnamese documents. It provides a complete pipeline from template-based synthetic data generation to model training and deployment. - **Repository**: [Devhub-Solutions/VietNerm](https://github.com/Devhub-Solutions/VietNerm) - **SDK**: `pip install vietnerm` - **License**: MIT — Copyright (c) 2026 Devhub Solutions--- 语言：越南语 标签： - 命名实体识别（Named Entity Recognition，NER） - 越南语 - 文档人工智能（Document AI） - gplx - 合成数据 任务类别： - 令牌分类（Token Classification） 样本量范围： - 1000 < 样本数 < 10000 许可证：MIT --- # VietNerm — gplx 命名实体识别数据集 本数据集为面向越南语**gplx**文档实体抽取任务的带BIO标记的合成命名实体识别数据集。 ## ⚠️ 免责声明：合成/模拟数据 > **本数据集完全基于模板自动生成（合成/模拟数据），不包含任何真实个人数据。** - 所有数据通过**Jinja2模板系统+随机生成器**自动生成 - 未使用真实证件、真实个人信息或从用户处收集的任何数据 - 生成的标识符（ID、公民身份证号CCCD等）均为随机生成，设计为不与真实数据重复 - 数据注入了光学字符识别（Optical Character Recognition，OCR）噪声以模拟真实应用场景 - 用途：人工智能、文档人工智能、OCR/NER流水线研究 - 不得用于伪造证件、制作假证、诈骗或其他欺诈行为 ## 数据集说明 本数据集包含带BIO标记的令牌序列，用于训练针对越南语**gplx**文档的命名实体识别模型。数据为合成生成，并加入OCR噪声以提升模型鲁棒性。 ### 数据集统计 | 数据集划分 | 样本数量 | |------------|----------| | 训练集 | 1800 | | 测试集 | 200 | ### 标签体系 | 标签标识 | 类型 | |----------|------| | `id2label` | — | | `label2id` | — | | `labels` | — | ## 数据格式 每个样本为JSON对象，包含两个字段： | 字段名 | 数据类型 | 描述 | |----------|----------------|--------------------------| | `tokens` | `List[str]` | 按空格分词后的词汇列表 | | `ner_tags` | `List[str]` | 每个令牌对应的BIO标记 | ## 数据模拟示例 以下为数据集中具有代表性的（合成）样本： json { "tokens": [ "CỘNG", "HÒA", "XÃ", "HỘI", "CHỦ", "NGHĨA", "VIỆT", "NAM", "Độc", "lập", "-", "Tự", "do", "-", "Hạnh", "phúc", "SOCIALIST", "REPUBLIC", "OF", "VIET" ], "ner_tags": [ "O", "O", "O", "O", "O", "O", "O", "O", "O", "O", "O", "O", "O", "O", "O", "O", "O", "O", "O", "O" ] } ## 使用方法 python from datasets import load_dataset dataset = load_dataset("ngocthanhdoan/vietnerm-gplx-dataset") train = dataset["train"] # 访问单个样本 sample = train[0] print(sample["tokens"]) # ['CĂN', 'CƯỚC', 'CÔNG', 'DÂN', ...] print(sample["ner_tags"]) # ['O', 'O', 'O', 'O', ...] ## 训练命名实体识别模型 本数据集用于训练配套模型[`ngocthanhdoan/phobert-gplx-ner`](https://huggingface.co/ngocthanhdoan/phobert-gplx-ner)。 python from vietnerm import VietNerm ner = VietNerm(doc_type="gplx", hf_username="ngocthanhdoan") result = ner.extract("your document OCR text here") print(result) ## 伦理使用规范 本数据集仅用于**研究与开发用途**： - ✅ AI/NLP研究 - ✅ 文档人工智能开发 - ✅ OCR/NER流水线原型搭建 - ✅ 教育用途 - ❌ 伪造证件 - ❌ 制作虚假身份文件 - ❌ 实施诈骗或欺诈行为 ## 关于VietNerm VietNerm是面向越南语文档的文档人工智能工厂，提供从基于模板的合成数据生成到模型训练与部署的完整流水线。 - **代码仓库**：[Devhub-Solutions/VietNerm](https://github.com/Devhub-Solutions/VietNerm) - **SDK安装命令**：`pip install vietnerm` - **许可证**：MIT协议 — 版权所有 © 2026 Devhub Solutions