sujet-ai/Sujet-Finance-QA-Vision-100k

Sujet-Finance-QA-Vision-100k是一个包含超过100,000个问题-答案对的综合数据集，这些对源自9,800多张金融文档图像。该数据集旨在支持金融文档分析和视觉问答领域的研究和开发。数据集包括9,801张独特的金融文档图像和107,050个问题-答案对，涵盖多种金融文档类型，且所有内容均为英文。

The Sujet-Finance-QA-Vision-100k dataset is a comprehensive collection containing over 100,000 question-answer pairs derived from more than 9,800 financial document images. This dataset is designed to support research and development in the field of financial document analysis and visual question answering. It includes 9,801 unique financial document images and 107,050 question-answer pairs, all in English. It consists of a training set with 9,212 images and 100,629 QA pairs, and a validation set with 589 images and 6,421 QA pairs. The dataset was created by using a model to generate diverse question-answer pairs based on detailed annotations, addressing challenges in fine-tuning small Vision-Language Models due to extensive context window size.

原始信息汇总

SujetAIs Financial QA Vision Dataset

数据集描述

Sujet-Finance-QA-Vision-100k 是一个综合数据集，包含超过 100,000 个问答对，源自 9,800 多张金融文档图像。该数据集旨在支持金融文档分析和视觉问答领域的研究和开发。

关键特征

• 9,801 张独特的金融文档图像
• 107,050 个问答对
• 英语语言
• 多样化的金融文档类型

数据集概述

• 训练集: 9,212 张图像，100,629 个问答对
• 验证集: 589 张图像，6,421 个问答对
• 总计: 9,801 张图像，107,050 个问答对

数据集创建

该数据集是基于之前的 Sujet-Finance-Vision-10k 数据集的进化版本。通过使用 meta-llama/Meta-Llama-3-70B 模型生成多样化的问答对，解决了小规模视觉语言模型在微调过程中对大量上下文窗口的需求问题。

数据字段

• doc_id: 文档的唯一标识符
• content: 文档内容的丰富注释，用于创建问答对
• image: 金融文档图像
• qa_pairs: 包含问答对的 JSON 字符串

局限性和偏差

• 问答对基于 GPT-4 注释生成，并使用 Llama 3 70B 进行细化，可能存在与图像信息不完全对应的情况。
• 数据集主要关注英语金融文档，可能不适用于其他语言或金融系统。

伦理考虑

• 数据集中的金融信息不应未经核实用于现实世界的金融决策。
• 数据集可能反映原始金融文档或注释过程中存在的偏差。

许可证

该数据集基于 Apache 2.0 许可证。

免责声明

Sujet AI 提供的数据集“按原样”提供，不提供任何明示或暗示的保证。用户在使用数据集时应自行判断，并验证信息以满足其特定用途。

搜集汇总

数据集介绍

构建方式

在金融文档分析与视觉问答研究领域，sujet-ai/Sujet-Finance-QA-Vision-100k数据集的构建采取了一种分而治之的策略。该数据集的前身Sujet-Finance-Vision-10k由于注释过长，不适合小型的视觉语言模型进行微调。因此，本项目采用meta-llama/Meta-Llama-3-70B模型，基于原始详细注释生成多样化的问答对，以适应小型模型在微调过程中的需求。

特点

sujet-ai/Sujet-Finance-QA-Vision-100k数据集具备丰富的金融文档视觉问答资源，包含9,801份独特的金融文档图像和107,050个问答对。该数据集以英语为载体，涵盖了多种类型的金融文档，旨在支撑金融文档分析与视觉问答的研究与开发。

使用方法

用户可以通过HuggingFace的datasets库加载该数据集，并访问训练集和验证集。数据集的字段包括文档唯一标识符、文档内容、图像以及问答对。通过提供的示例代码，用户可以轻松地加载和探索数据集，进而用于模型训练、评估等研究或开发活动。

背景与挑战

背景概述

在金融文档分析与视觉问答领域，Sujet-Finance-QA-Vision-100k数据集的构建旨在推进研究与发展。该数据集由Sujet AI团队于2024年创建，主要研究人员包括Allaa Boutaleb与Hamed Rahimi。该数据集的核心研究问题是提高视觉问答系统在处理金融文档时的准确性与效率，它通过对超过9,800份金融文档图像的分析，生成了超过107,000个问题-答案对，为相关领域的研究提供了重要资源，并推动了金融信息自动处理技术的发展。

当前挑战

该数据集在构建过程中遇到的挑战主要包括：如何将大规模的详细注释分解为适合小型视觉语言模型消化的片段，以及如何确保生成的问题-答案对既具有多样性又能够准确反映文档内容。此外，数据集在解决金融领域视觉问答问题的挑战上，需要面对如何减少自动生成过程中的错误和不一致性，以及如何处理可能存在的偏差和局限性等问题。

常用场景

经典使用场景

在金融文档分析与视觉问答研究领域，sujet-ai/Sujet-Finance-QA-Vision-100k数据集以其庞大的规模和丰富的内容，成为学者们开展研究的宝贵资源。该数据集的经典使用场景主要在于，研究人员通过训练视觉问答模型，使其能够理解和解读金融文档图像中的信息，进而对提出的问题进行准确回答。

实际应用

在实际应用中，sujet-ai/Sujet-Finance-QA-Vision-100k数据集可以被用于开发智能金融助手，辅助金融分析师快速获取文档中的关键信息，或是在金融教育领域，作为训练学生金融文献阅读和解析能力的辅助工具。

衍生相关工作

基于该数据集，衍生出了多项经典工作，包括构建更高效的金融文档解析模型、探索金融领域特有的问答模式，以及结合自然语言处理和计算机视觉技术，提升金融信息自动提取的准确性和效率。这些研究进一步拓宽了金融科技的应用边界。