ReceiptQA

ReceiptQA是一个大规模的数据集，专门用于支持和发展通过问答任务（QA）进行收据理解的研究。该数据集包含3,500张收据图像和171,000个问答对，分为LLM生成的子集和人工创建的子集。数据集覆盖了五个领域：零售、食品服务、超市、时尚和医疗，并提供了详细的统计数据和示例。

原始信息汇总

ReceiptQA 数据集概述

许可

• MIT

任务类别

• 问题回答 (Question Answering)

语言

• 英语 (English)

标签

• 金融 (Finance)

数据规模

• 100K < n < 1M

数据集简介

ReceiptQA 是一个大规模数据集，专为支持收据理解的问题回答 (QA) 任务研究而设计。该数据集提供了来自真实世界收据图像的广泛问题，涵盖了文本提取、布局理解和数值推理等多样化挑战。ReceiptQA 为评估和改进基于收据的 QA 任务模型提供了一个基准。

数据集概览

ReceiptQA 包含 3,500 张收据图像，配对 171,000 个问题-答案对，采用两种互补方法构建：

1. LLM-Generated 子集： 通过 GPT-4o 生成的 70,000 个 QA 对，由人工标注者验证以确保准确性和相关性。
2. Human-Created 子集： 手工创建的 101,000 个 QA 对，包括可回答和不可回答的问题，用于多样化评估。

关键特征

• 覆盖五个领域：零售、餐饮服务、超市、时尚和医疗。
• 包括简单和复杂的问题。
• 为收据特定的 QA 任务提供了一个全面的基准。

数据集统计

领域	收据数量	人工 QA 对	LLM QA 对
零售	800	23,200	16,000
餐饮服务	700	20,300	14,000
超市	700	20,300	14,000
时尚	650	18,850	13,000
咖啡店	650	18,850	13,000
总计	3,500	101,935	70,000

数据示例

json { "question": "What is the total amount for this receipt?", "answer": "559.99 L.E" }, { "question": "What is the name of item 1?", "answer": "Pullover PU-SOK1175" }, { "question": "What is the transaction number?", "answer": "29786" }, { "question": "How many items were purchased?", "answer": "2" }

使用要求

bash

安装推理所需库

pip install torch==1.10.0 pip install transformers==4.5.0 pip install datasets==2.3.0 pip install Pillow

下载链接

• 完整数据集
  • 训练集： 图像 | 标签
  • 验证集： 图像 | 标签
  • 测试集： 图像 | 标签

评估指标

ReceiptQA 提供以下指标用于评估 QA 模型：

• 精确匹配 (EM)： 测量预测答案是否与真实答案完全匹配。
• F1 分数： 评估预测答案与真实答案的重叠程度。
• 精确度： 测量预测的准确性。
• 召回率： 测量检索相关答案的能力。
• 答案包含： 检查真实答案是否包含在预测响应中。

对比模型

ReceiptQA 已经用于评估以下最新模型：

• GPT-4
• Llama3.2 (11B)
• Gemni 2.0
• Phi 3.5 Vision
• InternVL2 (4B/8B)
• LLaVA 7B

引用

如果您在研究中使用 ReceiptQA，请引用我们的论文：

Will be publish soon !!

联系方式

如有问题或反馈，请联系：

• Mahmoud Abdalla: [e-mail]
• GitHub Issues: 提交问题

搜集汇总

数据集介绍

构建方式

ReceiptQA数据集的构建采用了两种互补的方法：一种是由GPT-4o生成的70,000个QA对，这些对经过人工验证以确保准确性和相关性；另一种是人工编写的101,000个QA对，既包括可回答的问题，也包括无法回答的问题，以实现多元化的评估。该数据集包含3,500张收据图像和171,000个问题-答案对。

特点

ReceiptQA数据集的特点在于其涵盖了零售、餐饮服务、超市、时尚和医疗五个领域，既包括简单的问题，也包括复杂的问题。该数据集为收据特定QA任务的全面基准测试提供了可能，有助于评估和改进模型在收据基础上的QA任务表现。

使用方法

使用ReceiptQA数据集，首先需要安装必要的库，如torch、transformers、datasets和Pillow。接着，从提供的链接中下载完整的数据集，并将其放置在`data/`目录下。之后，可以通过克隆相关仓库并按照指示进行数据集的使用。ReceiptQA提供了 Exact Match、F1 Score、Precision、Recall和Answer Containment等评估指标，以衡量QA模型的表现。

背景与挑战

背景概述

ReceiptQA数据集，专为支持和推动收据理解领域的研究而设计，其通过问答(QA)任务形式，提供了来自真实世界收据图像的广泛问题。该数据集的构建可追溯至2019年，由Mahmoud Elsayed Mahmoud等研究人员倾力打造，旨在解决文本提取、布局理解以及数值推理等多重挑战，为评估和改进基于收据的QA任务模型提供了一个全面的标准。ReceiptQA数据集的发布，对金融科技、信息抽取以及自然语言处理等领域产生了显著影响，推动了相关技术的发展和应用。

当前挑战

ReceiptQA数据集面临的挑战主要涉及两个方面：一是领域问题的挑战，即如何准确理解和解析收据上的信息，以及如何通过问答系统处理这些信息；二是构建过程中的挑战，包括大规模高质量数据的收集与标注，以及确保生成的问题与答案对真实场景的覆盖性和准确性。数据集中包含的复杂问题类型以及多样化的领域，为模型训练和评估带来了额外的难度。

常用场景

经典使用场景

ReceiptQA数据集作为一款大规模的收据理解和问答任务专用数据集，其经典使用场景在于为机器学习模型提供丰富的训练数据，以实现对收据图像中信息的准确提取和解析。通过对真实世界收据图像的分析，该数据集支持模型在文本提取、布局理解以及数值推理等多样化挑战中的性能提升，为构建和优化收据问答系统提供了坚实的基础。

衍生相关工作

基于ReceiptQA数据集，学术界和产业界已经衍生出一系列相关工作，包括但不限于改进现有问答模型、开发新型收据解析算法、以及构建更为复杂的财务处理系统。这些工作进一步拓展了ReceiptQA的应用范围，为金融科技领域的发展贡献了重要力量。

数据集最近研究

最新研究方向

ReceiptQA数据集作为 receipts 领域的问答任务研究的重要基准，其研究前沿主要聚焦于提升文本提取、布局理解以及数值推理的能力。该数据集通过大规模的 receipt 图像与问题答案对，推动了机器学习模型在 receipt 基础问答任务上的性能评估与优化。近期研究不仅关注模型在处理 straightforward questions 的准确性，也深入探索了复杂问题处理的鲁棒性。此外，ReceiptQA的构建方法—结合了LLM生成和人工创建两种方式—为理解人工智能生成数据与真实人类标注数据之间的差异提供了可能，对于提高自动问答系统的真实世界应用能力具有显著意义。