stepkurniawan/qa-rag-llama

--- license: mit dataset_info: - config_name: Llama-2-13b-chat-hf features: - name: question dtype: string - name: ground_truths sequence: string - name: answer dtype: string - name: contexts sequence: string splits: - name: train num_bytes: 188631 num_examples: 50 download_size: 99989 dataset_size: 188631 - config_name: Llama-2-7b-chat-hf features: - name: question dtype: string - name: ground_truths sequence: string - name: answer dtype: string - name: contexts sequence: string splits: - name: train num_bytes: 168301 num_examples: 50 download_size: 89924 dataset_size: 168301 - config_name: default features: - name: question dtype: string - name: ground_truths sequence: string - name: answer dtype: string - name: contexts sequence: string splits: - name: train num_bytes: 10068 num_examples: 3 download_size: 0 dataset_size: 10068 configs: - config_name: Llama-2-13b-chat-hf data_files: - split: train path: Llama-2-13b-chat-hf/train-* - config_name: Llama-2-7b-chat-hf data_files: - split: train path: Llama-2-7b-chat-hf/train-* - config_name: default data_files: - split: train path: data/train-* ---许可证：MIT许可证 数据集信息包含以下三个配置项： 1. 配置名称：Llama-2-13b-chat-hf 该配置的特征字段包括： - `question`：数据类型为字符串 - `ground_truths`（基准真值序列）：字符串序列类型 - `answer`：数据类型为字符串 - `contexts`：上下文序列类型 该配置下的数据划分仅包含训练集：训练集字节数为188631，样本量为50。该配置的下载大小为99989字节，数据集总大小为188631字节。 2. 配置名称：Llama-2-7b-chat-hf 该配置的特征字段与上述一致： - `question`：数据类型为字符串 - `ground_truths`（基准真值序列）：字符串序列类型 - `answer`：数据类型为字符串 - `contexts`：上下文序列类型 其训练集字节数为168301，样本量为50。该配置的下载大小为89924字节，数据集总大小为168301字节。 3. 配置名称：default（默认配置） 该配置的特征字段同样包含以下四个字段： - `question`：数据类型为字符串 - `ground_truths`（基准真值序列）：字符串序列类型 - `answer`：数据类型为字符串 - `contexts`：上下文序列类型 其训练集字节数为10068，样本量为3。该配置的下载大小为0字节，数据集总大小为10068字节。 数据集配置项详情如下： - 配置`Llama-2-13b-chat-hf`对应的数据文件：训练集数据路径为`Llama-2-13b-chat-hf/train-*` - 配置`Llama-2-7b-chat-hf`对应的数据文件：训练集数据路径为`Llama-2-7b-chat-hf/train-*` - 配置`default`对应的数据文件：训练集数据路径为`data/train-*`

原始信息汇总

数据集概述

许可证

• MIT许可证

数据集配置

Llama-2-13b-chat-hf

• 特征
  • question: 字符串类型
  • ground_truths: 字符串序列
  • answer: 字符串类型
  • contexts: 字符串序列
• 分割
  • train
    • 字节数: 188631
    • 样本数: 50
• 下载大小: 99989字节
• 数据集大小: 188631字节
• 数据文件路径: Llama-2-13b-chat-hf/train-*

Llama-2-7b-chat-hf

• 特征
  • question: 字符串类型
  • ground_truths: 字符串序列
  • answer: 字符串类型
  • contexts: 字符串序列
• 分割
  • train
    • 字节数: 168301
    • 样本数: 50
• 下载大小: 89924字节
• 数据集大小: 168301字节
• 数据文件路径: Llama-2-7b-chat-hf/train-*

default

• 特征
  • question: 字符串类型
  • ground_truths: 字符串序列
  • answer: 字符串类型
  • contexts: 字符串序列
• 分割
  • train
    • 字节数: 10068
    • 样本数: 3
• 下载大小: 0字节
• 数据集大小: 10068字节
• 数据文件路径: data/train-*

搜集汇总

数据集介绍

构建方式

在检索增强生成（RAG）技术日益成为提升大型语言模型知识准确性与时效性核心手段的背景下，该数据集通过精心设计的实验流程构建而成。研究者选取了特定领域的知识问题，并利用Llama-2系列模型的不同参数版本（如13B与7B的聊天微调变体）进行答案生成。每个数据样本均包含了原始问题、模型生成的答案、作为参考标准的事实依据（ground truths），以及模型生成答案时所依据的上下文信息片段（contexts），从而形成了一个用于评估RAG系统性能的结构化对语料集合。

特点

该数据集的核心特点在于其专为RAG评估场景所设计的多维数据结构。每个样本不仅提供了问题与答案的配对，更关键的是包含了作为真实性锚点的标准答案列表（ground_truths）和模型推理所依赖的上下文（contexts）。这种设计使得研究者能够深入分析模型答案与给定上下文的一致性，以及其相对于事实标准的准确性。数据集按不同模型配置（Llama-2-13b-chat-hf, Llama-2-7b-chat-hf）分别提供版本，便于进行跨模型规模与能力的对比研究，为理解模型在知识检索与整合方面的行为提供了精细的观测窗口。

使用方法

该数据集主要服务于检索增强生成系统的评估与比较研究。使用者可通过Hugging Face数据集库加载指定配置（如‘Llama-2-13b-chat-hf’），直接访问其中的训练分割。典型应用流程包括：解析‘question’、‘answer’、‘ground_truths’和‘contexts’字段；利用‘ground_truths’对模型生成的‘answer’进行自动或人工评估，计算诸如答案匹配度、事实一致性等指标；同时，通过分析‘answer’与提供‘contexts’的关系，可以评估模型对检索到信息的利用效率与忠实度，从而诊断RAG流程的潜在缺陷并指导模型优化。

背景与挑战

背景概述

在自然语言处理领域，检索增强生成（RAG）技术通过结合信息检索与大型语言模型的生成能力，旨在提升问答系统的准确性与可靠性。数据集stepkurniawan/qa-rag-llama由研究人员stepkurniawan于近期创建，专注于评估基于Llama-2模型的RAG系统性能。该数据集的核心研究问题在于如何有效利用外部知识库来生成精确且上下文相关的答案，从而推动开放域问答任务的发展，并对人工智能的可解释性与可信度研究产生积极影响。

当前挑战

该数据集所针对的领域挑战在于解决开放域问答中模型幻觉与信息过时问题，要求系统能够从动态知识源中检索并整合准确信息以生成可靠回答。在构建过程中，挑战包括确保问题与真实答案的多样性覆盖，以及精确标注ground_truths和contexts以支持模型评估，同时需平衡数据规模与质量，避免引入偏差或噪声，从而为RAG系统的优化提供稳健基准。

常用场景

经典使用场景

在检索增强生成（RAG）技术领域，该数据集为评估问答系统性能提供了标准化基准。通过包含问题、真实答案、模型生成答案及相关上下文，它支持研究者系统性地分析模型在知识检索与答案生成中的表现。经典使用场景涉及对比不同规模语言模型（如Llama-2-7b与13b）在相同问题上的输出质量，从而揭示模型规模对RAG效果的影响。

实际应用

在实际应用中，该数据集可作为企业级智能客服与知识库系统的测试工具。通过模拟真实用户提问并对比模型输出与标准答案，工程师能够快速诊断RAG流程中的薄弱环节，如上下文检索不全或答案生成冗余。此外，它支持跨行业知识问答系统的性能标准化比较，为金融、医疗等领域的专业知识服务提供优化依据。

衍生相关工作

围绕该数据集衍生的经典工作主要集中于RAG评估框架的拓展与细化。例如，研究者基于其结构开发了多维度评估指标，不仅衡量答案准确性，还纳入上下文相关性、信息密度等维度。同时，该数据集激发了针对小样本RAG微调方法的研究，通过分析有限数据下模型表现，推动了高效适配特定领域知识的轻量化解决方案。