Viet-Receipt-VQA

# Dataset Overview
This dataset is was collected from **2034** Vietnamese 🇻🇳 Receipts MC-OCR 2021 [1]. Each receipt has been analyzed and annotated using advanced Visual Question Answering (VQA) techniques to produce a comprehensive dataset.

There is a set of **14,238** detailed descriptions, key information extraction (KIE), and query-based questions and answers generated by the Gemini 1.5 Flash model, currently Google's leading model on the [WildVision Arena Leaderboard](https://huggingface.co/spaces/WildVision/vision-arena). This results in a richly annotated dataset, ideal for various educational and research applications.

Please give us a like ❤️ if you find it useful !

<div align="center">
<img src="examples/image-1.jpg" width="500"/>
</div>

Description
```
Hóa đơn bán hàng của Vincommerce, ngày 14/08/2020, 21:37, mã hóa đơn H:00073344, NVBH:09021213, gồm 1 mặt hàng là Kem hướng sữa riêng Vinamilk hộp 450ml với đơn giá 43.800, tổng tiền phải trả 43.800, tiền khách trả 50.000, tiền trả lại 6.200.
```

Information Extraction
```
{'Tên cửa hàng': 'Vincommerce',
'Địa chỉ': 'DA khu DCLB cóc 8, P. Cẩm Sơn, TP. Cẩm Phả, T. Quảng Ninh',
'Số điện thoại': '024.71066866-44561',
'Ngày bán': '14/08/2020',
'Giờ bán': '21:37',
'Số quầy': '001',
'Mã hóa đơn': 'H:00073344',
'NVBH': '09021213',
'Mặt hàng': 'Kem hướng sữa riêng Vinamilk hộp 450ml',
'Đơn giá': '43.800',
'Số lượng': '1',
'Tổng tiền': '43.800',
'Tổng tiền à giảm': '0',
'Tiền khách trả': '43.800',
'Tiền mặt': '50.000',
'Tiền trả lại': '6.200'}
```

QnA
```
[
{ "role": "user", "content": "Hóa đơn được xuất tại cửa hàng nào?" },
{ "role": "assistant", "content": "Hóa đơn được xuất tại cửa hàng Vincommerce." },

{ "role": "user", "content": "Địa chỉ của cửa hàng là gì?" },
{ "role": "assistant", "content": "Địa chỉ của cửa hàng là DA khu DCLB cóc 8, P. Cẩm Sơn, TP. Cẩm Phả, T. Quảng Ninh." },

{ "role": "user", "content": "Hóa đơn được xuất vào ngày nào?" },
{ "role": "assistant", "content": "Hóa đơn được xuất vào ngày 14/08/2020." },

{ "role": "user", "content": "Tổng số tiền phải thanh toán là bao nhiêu?" },
{ "role": "assistant", "content": "Tổng số tiền phải thanh toán là 43.800." },

{ "role": "user", "content": "Khách hàng đã thanh toán bằng cách nào?" },
{ "role": "assistant", "content": "Khách hàng đã thanh toán bằng tiền mặt." } ]
```

<div style="display: grid; grid-template-columns: repeat(8, 100px); grid-gap: 10px;">
<img src="examples/image-2.jpg" style="width: 100px;">
<img src="examples/image-3.jpg" style="width: 100px;">
<img src="examples/image-4.jpg" style="width: 100px;">
<img src="examples/image-5.jpg" style="width: 100px;">
<img src="examples/image-6.jpg" style="width: 100px;">
<img src="examples/image-7.jpg" style="width: 100px;">
<img src="examples/image-8.jpg" style="width: 100px;">
<img src="examples/image-9.jpg" style="width: 100px;">
</div>

# Cite

```
@misc{doan2024vintern1befficientmultimodallarge,
title={Vintern-1B: An Efficient Multimodal Large Language Model for Vietnamese},
author={Khang T. Doan and Bao G. Huynh and Dung T. Hoang and Thuc D. Pham and Nhat H. Pham and Quan T. M. Nguyen and Bang Q. Vo and Suong N. Hoang},
year={2024},
eprint={2408.12480},
archivePrefix={arXiv},
primaryClass={cs.LG},
url={https://arxiv.org/abs/2408.12480},
}
```

# References
[1] Vu, X.S., Bui, Q.A., Nguyen, N.V., Nguyen, T.T.H., Vu, T.: MC-OCR challenge: mobile-captured image document recognition for Vietnamese receipts (2021) https://www.rivf2021-mc-ocr.vietnlp.com/home.

# 数据集概览
本数据集采集自**2034**份越南语🇻🇳收据数据集MC-OCR 2021[1]。所有收据均通过先进的视觉问答（Visual Question Answering, VQA）技术进行分析与标注，最终构建得到完备的数据集。

本数据集包含由Gemini 1.5 Flash模型生成的**14,238**条详细描述、关键信息提取（Key Information Extraction, KIE）结果以及基于查询的问答对；Gemini 1.5 Flash是谷歌当前在[WildVision竞技场排行榜](https://huggingface.co/spaces/WildVision/vision-arena)上的顶尖模型。这使得本数据集拥有丰富的标注内容，适用于各类教育与研究场景。

若本数据集对您有所帮助，欢迎点赞 ❤️！

<div align="center">
<img src="examples/image-1.jpg" width="500"/>
</div>

## 描述

Vincommerce 销售收据，日期2020年8月14日21:37，收据编号H:00073344，NVBH:09021213，仅包含1件商品：Vinamilk专用舒化奶450ml盒装，单价43,800，应付总金额43,800，顾客支付50,000，找零6,200。

## 关键信息提取

{
"店铺名称": "Vincommerce",
"店铺地址": "DA khu DCLB cóc 8, P. Cẩm Sơn, TP. Cẩm Phả, T. Quảng Ninh",
"联系电话": "024.71066866-44561",
"销售日期": "14/08/2020",
"销售时间": "21:37",
"柜台编号": "001",
"收据编号": "H:00073344",
"NVBH": "09021213",
"商品名称": "Kem hướng sữa riêng Vinamilk hộp 450ml",
"单价": "43.800",
"数量": "1",
"总金额": "43.800",
"优惠总金额": "0",
"顾客支付金额": "43.800",
"现金支付金额": "50.000",
"找零金额": "6.200"
}

## 问答对

[
{ "role": "user", "content": "该收据由哪家店铺开具？" },
{ "role": "assistant", "content": "该收据由Vincommerce店铺开具。" },

{ "role": "user", "content": "该店铺的地址是什么？" },
{ "role": "assistant", "content": "该店铺的地址为DA khu DCLB cóc 8, P. Cẩm Sơn, TP. Cẩm Phả, T. Quảng Ninh。" },

{ "role": "user", "content": "该收据的开具日期是什么时候？" },
{ "role": "assistant", "content": "该收据的开具日期为2020年8月14日。" },

{ "role": "user", "content": "应付总金额为多少？" },
{ "role": "assistant", "content": "应付总金额为43,800。" },

{ "role": "user", "content": "顾客采用何种方式付款？" },
{ "role": "assistant", "content": "顾客采用现金方式付款。" }
]

<div style="display: grid; grid-template-columns: repeat(8, 100px); grid-gap: 10px;">
<img src="examples/image-2.jpg" style="width: 100px;">
<img src="examples/image-3.jpg" style="width: 100px;">
<img src="examples/image-4.jpg" style="width: 100px;">
<img src="examples/image-5.jpg" style="width: 100px;">
<img src="examples/image-6.jpg" style="width: 100px;">
<img src="examples/image-7.jpg" style="width: 100px;">
<img src="examples/image-8.jpg" style="width: 100px;">
<img src="examples/image-9.jpg" style="width: 100px;">
</div>

# 引用

@misc{doan2024vintern1befficientmultimodallarge,
title={Vintern-1B: An Efficient Multimodal Large Language Model for Vietnamese},
author={Khang T. Doan and Bao G. Huynh and Dung T. Hoang and Thuc D. Pham and Nhat H. Pham and Quan T. M. Nguyen and Bang Q. Vo and Suong N. Hoang},
year={2024},
eprint={2408.12480},
archivePrefix={arXiv},
primaryClass={cs.LG},
url={https://arxiv.org/abs/2408.12480},
}

# 参考文献
[1] Vu, X.S., Bui, Q.A., Nguyen, N.V., Nguyen, T.T.H., Vu, T.: MC-OCR挑战赛：面向越南语收据的移动端拍摄图像文档识别（2021）https://www.rivf2021-mc-ocr.vietnlp.com/home.

搜集汇总

背景与挑战

背景概述

Viet-Receipt-VQA是一个包含2034张越南收据的数据集，通过先进的视觉问答技术进行标注，生成了14,238条详细描述和问答对，适用于教育和研究用途。