golaxy/rag-bench

RAG-BENCH数据集旨在提供多种常用RAG数据集的结果，并使用Rageval工具进行评估。数据集包含ASQA、ELI5和HotPotQA等子集，每个子集包含原始数据以及新增的评估字段，如模型响应、提取的答案、评估分数等。数据集被分割为不同的子集，用于评估不同模型的表现。

The RAG-BENCH dataset is designed to provide evaluation results across a variety of commonly used RAG datasets, with assessments conducted via the Rageval tool. It comprises subsets including ASQA, ELI5, and HotPotQA, each containing both the original raw data and newly added evaluation fields such as model responses, extracted answers, evaluation scores, and so on. The dataset is split into distinct subsets for evaluating the performance of different models.

原始信息汇总

数据集概述

数据集名称: RAG-bench

许可证: Apache-2.0

语言: 英语

数据集配置

• 默认配置:

  • 数据文件:
    • 分割: 测试
    • 路径: default/test.json

• alce_eli5_bm25配置:

  • 数据文件:
    • 分割: Llama_2_7b_chat_hf_vanilla_shot2_ndoc5
    • 路径: alce_eli5_bm25/eli5_bm25_Llama_2_7b_chat_hf_vanilla_shot2_ndoc5.json

• alce_eli5_oracle配置:

  • 数据文件:
    • 分割: Llama_2_7b_chat_hf_vanilla_shot2_ndoc5
    • 路径: alce_eli5_oracle/eli5_oracle_Llama_2_7b_chat_hf_vanilla_shot2_ndoc5.json

• alce_asqa_gtr配置:

  • 数据文件:
    • 分割: Llama_2_7b_chat_hf_vanilla_shot2_ndoc5
    • 路径: alce_asqa_gtr/asqa_gtr_Llama_2_7b_chat_hf_vanilla_shot2_ndoc5.json
    • 分割: Llama_2_7b_chat_hf_snippet_shot2_ndoc5
    • 路径: alce_asqa_gtr/asqa_gtr_Llama_2_7b_chat_hf_snippet_shot2_ndoc5.json
    • 分割: Llama_2_7b_chat_hf_snippet_shot2_ndoc10
    • 路径: alce_asqa_gtr/asqa_gtr_Llama_2_7b_chat_hf_snippet_shot2_ndoc10.json
    • 分割: Llama_2_7b_chat_hf_summary_shot2_ndoc5
    • 路径: alce_asqa_gtr/asqa_gtr_Llama_2_7b_chat_hf_summary_shot2_ndoc5.json
    • 分割: Llama_2_7b_chat_hf_summary_shot2_ndoc10
    • 路径: alce_asqa_gtr/asqa_gtr_Llama_2_7b_chat_hf_summary_shot2_ndoc10.json

• alce_asqa_dpr配置:

  • 数据文件:
    • 分割: Llama_2_7b_chat_hf_vanilla_shot2_ndoc5
    • 路径: alce_asqa_dpr/asqa_dpr_Llama_2_7b_chat_hf_vanilla_shot2_ndoc5.json

• alce_asqa_oracle配置:

  • 数据文件:
    • 分割: Llama_2_7b_chat_hf_vanilla_shot2_ndoc5
    • 路径: alce_asqa_oracle/asqa_oracle_Llama_2_7b_chat_hf_vanilla_shot2_ndoc5.json

• asqa配置:

  • 数据文件:
    • 分割: gpt_3.5_turbo_instruct
    • 路径: asqa/gpt_3.5_turbo_instruct.jsonl
    • 分割: mistral_7b
    • 路径: asqa/mistral_7b.jsonl
    • 分割: llama2_7b_chat
    • 路径: asqa/llama2-7b-chat.jsonl
    • 分割: llama3_8b_base
    • 路径: asqa/llama3-8b-base.jsonl
    • 分割: llama3_8b_instruct
    • 路径: asqa/llama3-8b-instruct.jsonl
    • 分割: solar_10.7b_instruct
    • 路径: asqa/solar-10.7b-instruct.jsonl

• hotpot_qa配置:

  • 数据文件:
    • 分割: gpt_3.5_turbo
    • 路径: hotpot_qa/gpt_3.5_turbo.jsonl

• webglm配置:

  • 数据文件:
    • 分割: Llama_2_7b_chat_hf
    • 路径: webglm/webglm_Llama_2_7b_chat_hf.json

数据实例

• ASQA子集:

  • 实例内容:
    • ambiguous_question: 模糊问题
    • qa_pairs: 问题答案对
    • wikipages: 维基页面信息
    • annotations: 注释
    • sample_id: 样本ID
    • short_answers: 简短答案
    • long_answers: 长答案
    • responses: 模型原始响应
    • answers: 提取的关键信息
    • answer_rouge_correctness: 答案RougeL分数
    • answer_exact_match: 答案精确匹配分数
    • answer_disambig_f1: 答案去歧义F1分数
    • DR_score: 去歧义和RougeL的DR分数

• HotPotQA子集:

  • 实例内容:
    • id: 实例ID
    • question: 问题
    • answer: 答案
    • type: 问题类型
    • level: 难度级别
    • supporting_facts: 支持事实
    • context: 上下文信息
    • response: 模型响应
    • short_answer: 简短答案
    • supporting_answer: 支持答案
    • gt_sent_ids: 支持事实的ID
    • answer_exact_match: 答案精确匹配分数
    • answer_f1: 答案F1分数

数据分割

• 默认分割: 包含测试数据
• eli5分割: 针对“像对5岁小孩解释”任务的数据
• asqa分割: 对应测试的模型，每个模型对应一个同名的数据分割
• hotpot_qa分割: 包含“HotpotQA”数据集的问题答案对