golaxy/rag-bench

RAG-BENCH数据集旨在提供多种常用RAG数据集的结果，并使用Rageval工具进行评估。数据集包含ASQA、ELI5和HotPotQA等子集，每个子集包含原始数据以及新增的评估字段，如模型响应、提取的答案、评估分数等。数据集被分割为不同的子集，用于评估不同模型的表现。

原始信息汇总

数据集概述

数据集名称: RAG-bench

许可证: Apache-2.0

语言: 英语

数据集配置

• 默认配置:

  • 数据文件:
    • 分割: 测试
    • 路径: default/test.json

• alce_eli5_bm25配置:

  • 数据文件:
    • 分割: Llama_2_7b_chat_hf_vanilla_shot2_ndoc5
    • 路径: alce_eli5_bm25/eli5_bm25_Llama_2_7b_chat_hf_vanilla_shot2_ndoc5.json

• alce_eli5_oracle配置:

  • 数据文件:
    • 分割: Llama_2_7b_chat_hf_vanilla_shot2_ndoc5
    • 路径: alce_eli5_oracle/eli5_oracle_Llama_2_7b_chat_hf_vanilla_shot2_ndoc5.json

• alce_asqa_gtr配置:

  • 数据文件:
    • 分割: Llama_2_7b_chat_hf_vanilla_shot2_ndoc5
    • 路径: alce_asqa_gtr/asqa_gtr_Llama_2_7b_chat_hf_vanilla_shot2_ndoc5.json
    • 分割: Llama_2_7b_chat_hf_snippet_shot2_ndoc5
    • 路径: alce_asqa_gtr/asqa_gtr_Llama_2_7b_chat_hf_snippet_shot2_ndoc5.json
    • 分割: Llama_2_7b_chat_hf_snippet_shot2_ndoc10
    • 路径: alce_asqa_gtr/asqa_gtr_Llama_2_7b_chat_hf_snippet_shot2_ndoc10.json
    • 分割: Llama_2_7b_chat_hf_summary_shot2_ndoc5
    • 路径: alce_asqa_gtr/asqa_gtr_Llama_2_7b_chat_hf_summary_shot2_ndoc5.json
    • 分割: Llama_2_7b_chat_hf_summary_shot2_ndoc10
    • 路径: alce_asqa_gtr/asqa_gtr_Llama_2_7b_chat_hf_summary_shot2_ndoc10.json

• alce_asqa_dpr配置:

  • 数据文件:
    • 分割: Llama_2_7b_chat_hf_vanilla_shot2_ndoc5
    • 路径: alce_asqa_dpr/asqa_dpr_Llama_2_7b_chat_hf_vanilla_shot2_ndoc5.json

• alce_asqa_oracle配置:

  • 数据文件:
    • 分割: Llama_2_7b_chat_hf_vanilla_shot2_ndoc5
    • 路径: alce_asqa_oracle/asqa_oracle_Llama_2_7b_chat_hf_vanilla_shot2_ndoc5.json

• asqa配置:

  • 数据文件:
    • 分割: gpt_3.5_turbo_instruct
    • 路径: asqa/gpt_3.5_turbo_instruct.jsonl
    • 分割: mistral_7b
    • 路径: asqa/mistral_7b.jsonl
    • 分割: llama2_7b_chat
    • 路径: asqa/llama2-7b-chat.jsonl
    • 分割: llama3_8b_base
    • 路径: asqa/llama3-8b-base.jsonl
    • 分割: llama3_8b_instruct
    • 路径: asqa/llama3-8b-instruct.jsonl
    • 分割: solar_10.7b_instruct
    • 路径: asqa/solar-10.7b-instruct.jsonl

• hotpot_qa配置:

  • 数据文件:
    • 分割: gpt_3.5_turbo
    • 路径: hotpot_qa/gpt_3.5_turbo.jsonl

• webglm配置:

  • 数据文件:
    • 分割: Llama_2_7b_chat_hf
    • 路径: webglm/webglm_Llama_2_7b_chat_hf.json

数据实例

• ASQA子集:

  • 实例内容:
    • ambiguous_question: 模糊问题
    • qa_pairs: 问题答案对
    • wikipages: 维基页面信息
    • annotations: 注释
    • sample_id: 样本ID
    • short_answers: 简短答案
    • long_answers: 长答案
    • responses: 模型原始响应
    • answers: 提取的关键信息
    • answer_rouge_correctness: 答案RougeL分数
    • answer_exact_match: 答案精确匹配分数
    • answer_disambig_f1: 答案去歧义F1分数
    • DR_score: 去歧义和RougeL的DR分数

• HotPotQA子集:

  • 实例内容:
    • id: 实例ID
    • question: 问题
    • answer: 答案
    • type: 问题类型
    • level: 难度级别
    • supporting_facts: 支持事实
    • context: 上下文信息
    • response: 模型响应
    • short_answer: 简短答案
    • supporting_answer: 支持答案
    • gt_sent_ids: 支持事实的ID
    • answer_exact_match: 答案精确匹配分数
    • answer_f1: 答案F1分数

数据分割

• 默认分割: 包含测试数据
• eli5分割: 针对“像对5岁小孩解释”任务的数据
• asqa分割: 对应测试的模型，每个模型对应一个同名的数据分割
• hotpot_qa分割: 包含“HotpotQA”数据集的问题答案对