5CD-AI/Viet-Table-Markdown

---
dataset_info:
features:
- name: id
dtype: string
- name: image
dtype: image
- name: markdown
dtype: string
- name: conversations
list:
- name: role
dtype: string
- name: content
dtype: string
splits:
- name: train
num_bytes: 20573277887.896
num_examples: 64902
download_size: 16095804906
dataset_size: 20573277887.896
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---

数据集信息：
特征字段：
- 名称：id，数据类型：字符串
- 名称：image，数据类型：图像
- 名称：markdown，数据类型：字符串（Markdown格式）
- 名称：conversations，为列表类型，包含子字段：
- 名称：role，数据类型：字符串
- 名称：content，数据类型：字符串
拆分集：
- 名称：训练集（train），字节数：20573277887.896，样本数量：64902
下载大小：16095804906
数据集总大小：20573277887.896
配置项：
- 配置名称：默认配置（default），数据文件：
- 拆分集：训练集（train），路径：data/train-*

搜集汇总

数据集介绍

构建方式

在越南语文档理解与结构化信息提取领域，数据集的构建是推动模型性能提升的关键。5CD-AI/Viet-Table-Markdown数据集通过收集包含表格的越南语文档图像，并配以人工标注的Markdown格式表格内容，形成了图像与结构化文本的配对数据。每条样本包含唯一标识符、原始图像、对应的Markdown字符串以及多轮对话形式的问题-答案对，其中对话部分模拟了用户与模型之间关于表格内容的自然交互。数据集仅包含训练集，共计64,902个样本，数据总量约20.6GB，确保了训练数据的充足性与多样性。

特点

该数据集的核心特点在于其独特的双模态结构，即图像与Markdown文本的紧密结合，为越南语表格识别与理解任务提供了专用资源。每个样本不仅包含表格的视觉呈现，还通过Markdown格式精确描述了表格的结构与内容，支持模型学习从图像到结构化文本的映射。此外，对话形式的引入使得数据集能够用于训练具备交互能力的多模态模型，模拟真实场景中用户查询表格信息的对话流程。数据规模庞大，涵盖多样化的表格样式与布局，增强了模型的泛化能力。

使用方法

使用该数据集时，研究者可将其加载为HuggingFace数据集对象，利用'image'字段作为视觉输入，'markdown'字段作为目标输出，进行图像到文本的序列生成任务训练。'conversations'字段则适用于构建多模态对话系统，通过角色与内容的配对序列，训练模型根据图像上下文生成符合越南语习惯的问答响应。推荐采用标准的数据增强技术提升鲁棒性，并基于训练集进行端到端的模型微调。数据以Parquet格式存储，支持高效的分批读取与预处理，便于集成到主流深度学习框架中。

背景与挑战

背景概述

在自然语言处理与计算机视觉交叉领域，表格识别与结构化转换是文档智能化的重要环节。越南语作为低资源语言，其表格数据的解析与标记化面临独特挑战。5CD-AI/Viet-Table-Markdown数据集于近期由5CD-AI研究团队构建，旨在解决越南语文档图像中表格结构至Markdown格式的自动转换问题。该数据集包含64,902个训练样本，每个样本由图像、对应的Markdown表示及多轮对话构成，为开发多模态表格理解模型提供了基础资源。其发布填补了越南语表格解析领域的空白，推动了低资源语言文档智能化的研究进展，尤其对越南语OCR、表格结构识别及多模态对话系统具有重要参考价值。

当前挑战

该数据集面临的核心挑战包括：一是越南语表格结构的多样性，如合并单元格、嵌套表格及不规则布局，导致传统视觉模型难以准确捕捉复杂结构。二是低资源语言环境下标注数据稀缺，构建过程中需人工标注大量图像与Markdown对应关系，标注一致性难以保障，且需处理越南语特有的字符编码与排版差异。三是多模态对齐任务中，图像中的噪声（如倾斜、模糊）与Markdown语法歧义（如列表与表格的边界模糊）增加了模型泛化难度。此外，数据规模相对有限，可能限制基于大规模预训练的模型性能，需探索数据增强或跨语言迁移学习策略以缓解数据不足问题。

常用场景

经典使用场景

在光学字符识别与文档数字化领域，从复杂版面中精准提取表格结构并将其转换为结构化标记语言，始终是一项极具挑战性的任务。5CD-AI/Viet-Table-Markdown数据集专为越南语表格图像到Markdown格式的转换任务而设计，其经典使用场景聚焦于训练端到端的视觉语言模型，使其能够同时理解图像中的表格布局、文字内容以及语义层级关系，并生成对应的Markdown表示。该数据集包含近六万五千对图像与标记文本对，为模型提供了丰富的训练样本，使其在表格结构识别、跨行跨列合并、文本对齐等细粒度任务上展现出卓越性能，从而成为越南语表格识别领域的重要基准资源。

衍生相关工作

该数据集的诞生催生了一系列相关领域的前沿探索。首先，研究者基于此数据集构建了针对越南语表格的预训练视觉语言模型，如将PubTabNet等英文表格识别架构进行跨语言迁移学习，验证了多模态特征对齐的有效性。其次，围绕表格结构中的复杂合并单元格与不规则布局，衍生出基于注意力机制的区域感知解码器工作，显著提升了不规则表格的还原精度。此外，部分工作将该数据集与指令微调范式结合，构建了能够理解表格查询意图的多轮对话模型，实现了从“图像-文本”到“图像-交互”的范式跃迁。这些衍生研究不仅深化了表格理解的理论体系，也为多语言文档智能处理开辟了新的技术路径。

数据集最近研究

最新研究方向

当前，随着多模态大语言模型在越南语等低资源语言场景中的快速渗透，结构化表格数据的理解与生成成为关键挑战。5CD-AI/Viet-Table-Markdown数据集通过提供64902对图像与Markdown格式表格的映射，以及配套的多轮对话指令，为越南语表格视觉问答、表格内容自动化摘要及跨模态信息提取开辟了前沿路径。该数据集紧密关联东南亚数字政务与金融科技领域对非结构化文档智能解析的迫切需求，其以对话形式封装表格上下文的独特设计，显著推动了少样本场景下表格推理与语义对齐的研究，对弥合高资源语言与低资源语言在结构化数据理解上的性能鸿沟具有里程碑意义。