DuyTa/vi_RAG

Vis RAG 是一个综合性的越南语数据集，专为RAG评估优化，由ZD AI实验室构建并发布在Apache 2.0许可证下。该数据集包含四个子集：越南语版本的Expert QA，利用GPT-4的强大翻译能力进行翻译任务；RAG ViQuAD，从UIT-ViQuAD2.0精心挑选并添加了按标题过滤的上下文列；Legal RAG和BKAI_RAG，这两个长形式的RAG QA从ZALO Legal QA和BKNewsCorpus借用上下文和问题，并通过Mixtral 8x22B和GPT-4对齐问题、答案和上下文。

Vis RAG is a comprehensive Vietnamese dataset optimized for RAG Evaluation, built by ZD AI lab and released under the Apache 2.0 license. The dataset includes four subsets: a Vietnamese version of Expert QA, utilizing GPT-4s strong translation capabilities for translation tasks; RAG ViQuAD, carefully selected from UIT-ViQuAD2.0 with additional context columns filtered by title; Legal RAG and BKAI_RAG, long-form RAG QAs that borrow context and questions from ZALO Legal QA and BKNewsCorpus, with questions, answers, and contexts aligned by Mixtral 8x22B and GPT-4.

原始信息汇总

数据集卡片

数据集详情

该数据集包含四个子数据集：

• Expert QA：越南语版本的Expert QA，利用GPT-4的强大翻译能力进行翻译。
• RAG ViQuAD：从UIT-ViQuAD2.0中精心挑选，并添加了额外的上下文列，通过标题过滤。
• Legal RAG：从ZALO Legal QA中借用上下文和问题，问题、答案和上下文通过Mixtral 8x22B和GPT-4对齐。
• BKAI_RAG：从BKNewsCorpus中借用上下文和问题，问题、答案和上下文通过Mixtral 8x22B和GPT-4对齐。

数据集描述

数据集描述即将发布。

许可证

该数据集在Apache 2.0许可证下发布。

搜集汇总

数据集介绍

构建方式

Vi RAG数据集由ZD AI实验室构建，旨在为越南语的检索增强生成（RAG）评估提供全面支持。该数据集整合了四个子集：Expert QA的越南语版本通过GPT-4的强大翻译能力进行转化；RAG ViQuAD子集从UIT-ViQuAD2.0中精心筛选，并依据标题过滤添加了额外的上下文列；Legal RAG与BKAI RAG则分别从ZALO Legal QA和BKNewsCorpus中提取长文本形式的RAG问答对，随后借助Mixtral 8x22B和GPT-4对齐问题、答案与上下文，确保了数据的一致性与高质量。

特点

该数据集涵盖多个领域，包括专家知识、阅读理解、法律文本和新闻语料，展现了丰富的多样性。每个子集均针对RAG评估优化，例如Expert QA子集利用机器翻译实现跨语言适配，ViQuAD子集保留了原始问答的上下文结构，而Legal RAG与BKAI RAG则聚焦于长文本场景，模拟真实世界中的复杂检索需求。数据集采用Apache 2.0许可证发布，确保了开放性与可复用性，为越南语NLP研究提供了宝贵的基准资源。

使用方法

用户可通过HuggingFace数据集库加载Vi RAG，支持按配置名称（如expert、viQuAD、LegalRAG、BKAI_RAG）选择子集。每个子集以JSON或JSONL格式存储，便于直接用于RAG系统的训练与评估。建议在加载后，根据任务需求将数据划分为训练、验证和测试集，或结合检索器与生成器进行端到端实验。数据集字段包含问题、答案和上下文，可轻松适配标准RAG流程，例如使用上下文作为检索语料库，并基于问答对评估生成质量。

背景与挑战

背景概述

在自然语言处理领域，检索增强生成（Retrieval-Augmented Generation, RAG）技术通过融合外部知识库与生成模型，显著提升了问答系统的准确性与可解释性，尤其在低资源语言场景中展现出独特价值。由ZD AI实验室于近期发布的Vi's RAG数据集，是首个面向越南语RAG评估的综合性资源，其构建工作汇聚了多源高质量语料，包括基于GPT-4翻译的Expert QA越南语版本、从UIT-ViQuAD2.0精筛的RAG ViQuAD子集，以及融合ZALO Legal QA与BKNewsCorpus的长文本法律与新闻问答对。该数据集旨在填补越南语RAG基准测试的空白，为跨语言知识推理、领域适应性和生成可靠性研究提供标准化评估框架，对推动低资源语言RAG技术发展具有里程碑意义。

当前挑战

Vi's RAG数据集面临的核心挑战体现在两个层面。在领域问题层面，越南语作为资源匮乏语言，其句法灵活性与词汇歧义性对RAG系统的检索准确性和生成一致性构成严峻考验，现有模型常因语料稀疏性导致上下文误匹配或答案幻觉。在构建过程中，数据集需克服跨领域语料对齐的复杂性：例如，法律文本的术语严谨性与新闻语料的时效性冲突要求精细的上下文筛选策略；同时，依赖GPT-4与Mixtral 8x22B进行翻译与问答对生成时，需应对机器翻译的语义偏差及多轮对齐的噪声累积问题，确保长文本场景下的答案与上下文逻辑自洽性。

常用场景

经典使用场景

在越南语自然语言处理领域，检索增强生成（RAG）技术正逐步成为提升大型语言模型事实性与知识覆盖度的关键范式。vi_RAG数据集专为评估和优化越南语RAG系统而设计，其经典使用场景集中于对检索模块与生成模块的协同性能进行基准测试。研究人员可借助该数据集中的Expert QA、ViQuAD、Legal RAG及BKAI_RAG四个子集，分别从专家知识问答、阅读理解、法律条文检索和新闻领域问答等维度，系统性地评估模型在复杂上下文中的检索准确率与生成忠实度。这一场景不仅为越南语RAG模型的标准化评测提供了可靠依据，也推动了多领域知识密集型任务在低资源语言上的研究进展。

实际应用

在实际应用中，vi_RAG数据集为构建越南语智能问答系统提供了关键支撑。在法律领域，Legal RAG子集可用于开发面向律师或公众的法律咨询助手，通过检索相关法条和判例生成精准回答，提升法律服务的可及性；在新闻与媒体领域，BKAI_RAG子集赋能新闻摘要与事实核查工具，帮助用户快速从海量报道中提取关键信息并验证真实性；此外，Expert QA子集可服务于教育或科研场景，辅助专业知识库的构建与自动答疑。这些应用不仅降低了越南语信息检索与生成的门槛，还促进了非英语互联网环境中智能助手、客户服务和知识管理系统的落地与普及。

衍生相关工作

vi_RAG数据集的发布已催生了一系列相关研究工作。首先，它作为越南语RAG评测的基准，激发了针对低资源语言检索增强范式的改进方案，例如基于该数据集优化检索器与生成器的联合训练策略。其次，其多子集结构启发了领域自适应RAG方法的研究，研究者借鉴Legal RAG和BKAI_RAG的数据特性，探索法律与新闻领域中专有名词处理与长文本分割技术。此外，该数据集也为跨语言RAG模型提供了对比基线，相关工作包括利用其评估多语言嵌入模型在越南语上的检索效果，以及开发针对越南语语法特点的查询改写算法。这些衍生工作进一步扩展了vi_RAG的影响力，使其成为越南语NLP社区中推动RAG技术创新的重要基石。