G4KMU/t2-ragbench

T2-RAGBench是一个金融领域的文本和表格基准数据集，用于评估检索增强生成技术在处理金融文档时的表现。它由32,908个独立于上下文的问答对和超过9000个文档组成，这些文档来源于四个精细数据集：FinQA、ConvFinQA、VQAonBD和TAT-DQA。数据集支持问答、基于表格的问答和检索增强生成任务，并包含了原始的PDF文件以供直接使用。

T2-RAGBench is a text-and-table benchmark dataset in the financial domain designed for evaluating the performance of Retrieval-Augmented Generation (RAG) techniques on financial documents. It consists of 32,908 context-independent question-answer pairs and over 9,000 documents from four refined datasets: FinQA, ConvFinQA, VQAonBD, and TAT-DQA. The dataset supports Question Answering, Table-based Question Answering, and Retrieval-Augmented Generation tasks, and includes original PDF files for direct use.

搜集汇总

数据集介绍

构建方式

在金融文档问答领域，现有数据集多依赖上下文已知的样本，难以有效评估检索模块的性能。T2-RAGBench应运而生，它是一个专为检索增强生成（RAG）设计的基准数据集，整合了FinQA、ConvFinQA和TAT-DQA三个经过精心筛选的金融领域数据集。构建过程中，首先利用LLaMA 3.3-70B大语言模型将原始问题重构为上下文无关的形式，确保每个问题在不依赖原始文档上下文时仍具可回答性。随后，人工标注者对随机抽取的子集进行验证，保证重构质量。最终数据集包含23,088个独立于上下文的问答对和超过7,300份原始PDF文档，每个样本均包含重构后的问题、经过验证的答案以及由文本和表格共同构成的支撑上下文。

特点

该数据集的核心特色在于其独特的上下文无关性设计，超过80%的重构问题实现了真正的独立于上下文，而原始数据集中这一比例不足10%。数据集覆盖了金融报告中的文本与表格混合场景，提供了包括公司名称、行业分类、报告年份等丰富的元数据字段，便于细粒度分析。此外，T2-RAGBench还保留了原始的PDF文件，支持直接进行文档级任务。三个子集在文档数量、问答对规模和平均令牌长度上各有差异，总计包含8,095份文档和32,908个问答对，为评估检索与推理的联合性能提供了全面而严谨的测试平台。

使用方法

使用T2-RAGBench时，研究者可通过HuggingFace数据集库直接加载各子集（FinQA、ConvFinQA、TAT-DQA），每个子集包含明确的训练、开发与测试划分。数据集以标准字段格式提供，其中question字段为上下文无关的查询，context字段为提取的文档文本与表格信息，program_answer字段为用于评估的数值答案。对于需要完整文档处理的场景，可通过克隆仓库获取原始PDF文件，文件按数据集和分割组织，与数据集结构一致。研究者还可将模型结果提交至T2-RAGBench官方排行榜，与社区进行性能比较，推动金融领域RAG系统的进步。

背景与挑战

背景概述

在金融领域，文档常以文本与表格交织的复杂形式呈现，这对检索增强生成（RAG）系统提出了严峻挑战。为弥补现有问答数据集在评估检索质量上的不足，由汉堡大学研究团队于2025年构建的T2-RAGBench应运而生。该基准数据集整合了FinQA、ConvFinQA及TAT-DQA三大金融语料库，涵盖23,088个上下文无关的问答对及超过7,300份原始PDF文档。其核心研究问题聚焦于如何统一评估RAG系统在混合文本-表格数据中的检索与推理能力，通过将原始问题转化为独立于上下文的表述，为金融文档智能分析提供了标准化评测平台，在自然语言处理与金融科技交叉领域产生了重要影响力。

当前挑战

T2-RAGBench面临的核心挑战首先体现在领域问题的复杂性上：金融文档中的数值推理需同时理解文本叙述与表格结构，而现有模型常因无法有效对齐异构信息而导致错误。其次，构建过程中遭遇多重困难：源数据集FinQA与ConvFinQA依赖FinTabNet的表格标注，其提取质量直接影响基准可靠性；TAT-DQA虽侧重数值答案，但文档格式的多样性增加了统一处理的难度。此外，利用LLaMA 3.3-70B进行问题改写虽实现超80%的上下文独立性，但生成式标注的潜在偏差需人工验证子集来校准，而金融术语的领域特异性又限制了跨领域泛化能力，这些因素共同构成了当前数据集发展的瓶颈。

常用场景

经典使用场景

在金融文档智能处理领域，T2-RAGBench最经典的使用场景是作为检索增强生成（RAG）系统的评估基准。该数据集包含23,088个上下文无关的问答对以及超过7,300份金融文档，每个实例均融合了文本与表格信息，能够全面检验模型在复杂金融文档上的检索与推理能力。研究者可借助其标准化的数据分割（训练集、开发集、测试集）和公开排行榜，系统性地对比不同RAG架构、检索策略及生成模型的性能表现。

解决学术问题

该数据集直面现有问答数据集依赖oracle上下文、难以评估检索质量的学术困境。通过将原始问题重构为上下文无关形式，T2-RAGBench有效分离了检索与推理两个核心环节，使得研究者能够独立诊断RAG系统的瓶颈所在。其涵盖的FinQA、ConvFinQA和TAT-DQA三大子集，分别对应数值推理、多轮对话问答及混合文档理解等典型金融场景，为系统性研究异构信息融合、长文档推理及领域自适应等关键问题提供了坚实的实验平台。

衍生相关工作

该数据集已催生一系列富有影响力的后续研究，包括基于表格与文本联合编码的检索模型、面向金融文档的多模态RAG框架以及上下文无关问题生成方法的改进。其公开排行榜持续吸引学术界与工业界提交新方法，推动了如自适应检索粒度控制、结构化知识增强生成等前沿方向的探索。此外，数据集规范的格式设计已被扩展至其他领域，形成了统一的RAG评测数据集集合，为构建通用文档理解评估体系奠定了重要基础。