ChatRAG-Bench

ChatRAG Bench旨在评估模型在文档或检索到的上下文中的对话式问答能力。它基于Doc2Dial、QuAC、QReCC、TopioCQA、INSCIT、CoQA、HybriDialogue、DoQA、SQA和ConvFinQA这10个现有数据集构建和衍生而来，涵盖了广泛的文档和问题类型，要求模型能够从长上下文中生成响应，理解表格并进行推理，执行算术计算，并指出问题在上下文中找不到答案的情况。它还提供了用于运行和评估的脚本，包括对无法回答情况的评估。用户需参考每个数据集附带的原始许可。