hotchpotch/JQaRA

JQaRA是一个用于评估检索增强生成（RAG）技术的日语问答数据集，旨在通过外部知识检索来提高大语言模型（LLM）的问答准确性。数据集基于JAQKET的问答数据和Wikipedia的文本，通过多种Embeddings模型进行信息检索，并对检索结果进行正解标签的标注。数据集分为unused、dev和test三个部分，分别用于不同的评估和训练场景。

JQaRA is a Japanese question answering dataset dedicated to evaluating Retrieval-Augmented Generation (RAG) technologies, aiming to improve the question answering accuracy of Large Language Models (LLMs) via external knowledge retrieval. Built upon question answering data from JAQKET and Wikipedia text corpora, this dataset conducts information retrieval with multiple embedding models and annotates the retrieved results with gold labels. The dataset is divided into three subsets: unused, dev, and test, which are applied to distinct evaluation and training scenarios respectively.

原始信息汇总

JQaRA 数据集概述

数据集信息

特征

• id: 字符串类型
• q_id: 字符串类型
• passage_row_id: 字符串类型
• label: 64位整数类型
• text: 字符串类型
• title: 字符串类型
• question: 字符串类型
• answers: 字符串序列类型

分割

• unused: 23595528 字节，24900 个样本
• dev: 81708550 字节，86850 个样本
• test: 140414874 字节，166700 个样本

大小

• 下载大小: 113244850 字节
• 数据集大小: 245718952 字节

配置

• default 配置包含以下数据文件：
  • unused: data/unused-*
  • dev: data/dev-*
  • test: data/test-*

许可

• cc 许可

任务类别

• question-answering

语言

• ja（日语）

数据集构建方法

Q&A 数据选定

• 基于 JAQKET 数据集的 dev、unused、test 部分（约 2,000 件）。
• JAQKET 的 train 部分因许可限制未包含。

Wikipedia 数据追加

• 使用 singletongue/wikipedia-utils 数据集，最大 400 字符的 Wikipedia 文章片段。
• 通过 5 种 Embeddings 模型（如 intfloat/multilingual-e5-large）进行文本相似度评估。
• 使用 FAISS 库进行快速向量搜索，结合 IVF 和 IVFPQ 技术。

规则基础的正解标签赋予

• 通过规则匹配 Wikipedia 文章标题或文本中的完全一致字符串来标记正解标签。
• 过滤掉正解标签过多或过少的样本，最终 test 数据集包含 1,680 件样本。

正解标签有用性验证

• 使用 youri-7b-instruction 和 Swallow-13B-instruction-hf 模型进行初步验证。
• 进一步使用 ChatGPT 3.5 和 GPT4 进行验证。
• 最终由人工检查并删除无效的正解标签。

test 数据集构建

• 删除 522 件样本的正解标签，最终 test 数据集包含 1,667 件样本。

dev, unused 数据集构建

• 与 test 数据集方法类似，但每个问题关联 50 篇文章，且仅使用 youri-7b 模型进行验证。
• 最终 dev 包含 1,737 件样本，unused 包含 498 件样本。

许可

• question, answers 列遵循 CC-BY-SA-4.0 许可。
• title, text 列遵循 Wikipedia 的 CC BY-SA 4.0 或 GFDL 许可。

搜集汇总

数据集介绍

构建方式

JQaRA数据集以JAQKET日语问答数据集为基石，结合Wikipedia语料构建而成。其构建过程首先采用五种不同的Embeddings模型（包括multilingual-e5-large、bge-m3等）对Wikipedia段落进行向量化检索，并通过RRF算法融合排序，为每个问题筛选出最相关的100个候选段落。随后，基于规则进行正解标签的初步标注，即检测候选段落标题或文本中是否完全包含问题的标准答案。为提升标签质量，数据集进一步引入7B与13B参数规模的日语LLM、ChatGPT 3.5及GPT-4进行多阶段验证，剔除LLM无法依据候选段落正确作答的样本。最终，通过人工审核对剩余存疑数据进行精细筛选，剔除无效标签，从而形成高质量、面向RAG评估的测试集。开发集与未使用集采用类似流程，但验证阶段仅使用7B模型，并为每个问题保留最多5个LLM能正确回答的正解样本。

使用方法

JQaRA数据集专为评估日语RAG系统中的检索组件而设计。用户可加载HuggingFace上的数据集，使用其提供的'dev'、'unused'和'test'三个划分。使用方法上，用户需为每个问题从100个候选段落中检索出最相关的段落，并依据段落与问题的相关性进行排序。评估时，数据集推荐使用nDCG@10作为主要指标，同时也可参考MRR@10。GitHub仓库提供了基于SentenceTransformer和CrossEncoder等常见接口的评估脚本，便于用户快速测试自己的检索模型。需要注意的是，数据集中的'label'字段为0或1，指示该段落是否为问题的正解段落，但部分正解标签可能已被移除，用户应主要依据标签进行排序评估，而非直接作为训练标签。

背景与挑战

背景概述

JQaRA（Japanese Question Answering with Retrieval Augmentation）是由研究者Yuichi Tateno于2024年创建的一个专注于检索增强生成（RAG）评估的日语问答数据集。随着大型语言模型（LLM）的蓬勃发展，其在问答任务中因缺乏相关知识而生成错误回答的局限性日益凸显，RAG技术通过引入外部知识检索成为缓解该问题的关键路径。JQaRA旨在为RAG系统的检索模块提供标准化评估基准，其核心研究问题聚焦于衡量检索器能否从海量文本中精准获取可提升LLM回答准确性的支持信息。该数据集以JAQKET问答对为基础，结合Wikipedia段落，通过多模型嵌入向量检索与人工验证构建，已广泛应用于日语信息检索与RAG领域，对推动日语自然语言处理技术的评估方法学产生了显著影响。

当前挑战

JQaRA所应对的领域挑战在于，现有RAG评估数据集多集中于英文场景，缺乏针对日语语言特性和LLM知识边界的专业化评测资源，导致难以客观衡量检索模块对LLM回答质量的提升效果。在数据集构建过程中，面临多重技术挑战：首先，需从约560万条Wikipedia段落中高效筛选出与问题相关的候选文本，为此采用IVFPQ索引加速向量检索；其次，为规避单一嵌入模型的偏差，融合五种不同嵌入模型的结果并通过RRF算法融合排序；此外，正解标签的可靠性验证尤为复杂，需依次通过7B/13B级LLM、GPT-4及人工审核的三阶段过滤，最终从16,726条候选标签中剔除522条无效标签，确保数据集的高质量与实用性。

常用场景

经典使用场景

JQaRA数据集专为评估检索增强生成（RAG）系统中检索模块的性能而设计。其经典使用场景聚焦于衡量信息检索模型能否从海量候选文档中精准定位到有助于大语言模型（LLM）回答问题的关键文本片段。该数据集以日本维基百科的篇章为检索池，针对每个问题提供100篇候选文档（含至少一个正例），通过nDCG@10等指标量化检索排序质量，从而为RAG流水线中检索器的优化提供标准化评测基准。

解决学术问题

该数据集核心解决了RAG研究中检索效果评估缺乏高质量日语基准的困境。传统问答数据集多关注端到端答案生成，难以分离检索环节的贡献。JQaRA通过构建“LLM可回答性”导向的正负样本标注体系，结合多模型验证与人工校准，首次实现了对检索结果语义相关性（而非单纯字符串匹配）的细粒度评估，为探究检索质量与生成准确率之间的因果关联提供了关键工具，推动了多模态检索、稀疏/稠密向量融合等方向的理论验证。

实际应用

在工业级RAG系统开发中，JQaRA被广泛用于检索器模型选型与调优。企业可借助该数据集对比稠密向量模型（如bge-m3）、稀疏模型（如Splade）及重排序器（如CrossEncoder）在日语场景下的实际表现，从而构建高效的知识库问答管道。此外，其评估框架可直接迁移至智能客服、企业知识管理、法律文书检索等需要结合外部知识库的对话系统，显著降低LLM幻觉风险并提升事实性回答的准确性。

数据集最近研究

最新研究方向

JQaRA数据集聚焦于检索增强生成（RAG）技术在日语问答系统中的评估与优化，其前沿研究方向紧密围绕如何通过高效的信息检索提升大语言模型（LLM）的应答准确性。随着LLM在复杂问答场景中的广泛应用，模型因知识缺失而产生的幻觉问题日益凸显，RAG通过引入外部知识库（如Wikipedia）成为缓解该问题的关键路径。该数据集以JAQKET问答为基础，结合多模型嵌入（如bge-m3、multilingual-e5）与混合检索策略（如IVFPQ与RRF融合），构建了涵盖密集向量、稀疏向量及交叉编码器等多类检索模型的基准测试。当前热点包括利用ColBERT或Splade等模型实现更精准的段落检索，以及通过CrossEncoder进行重排序以提升nDCG@10指标。JQaRA的发布填补了日语RAG评估的空白，为跨语言检索系统、工业级问答应用及LLM幻觉缓解研究提供了标准化评测平台，推动了多模态与多语言检索技术的融合创新。