DataMorgana

DataMorgana是由技术创新研究所开发的一个用于生成问答基准数据集的工具，旨在评估检索增强生成（RAG）系统。该数据集通过两阶段生成过程，允许用户自定义问题和用户类别，确保生成的数据集具有高度的多样性和覆盖性。数据集的内容包括从RAG语料库中抽取的文档，并通过大语言模型（LLM）生成问答对。DataMorgana的应用领域主要集中在RAG系统的评估，旨在解决现有基准数据集缺乏多样性的问题，从而更好地模拟真实用户的行为和需求。

DataMorgana is a tool developed by the Institute of Technological Innovation for generating question-answering benchmark datasets, specifically designed to evaluate retrieval-augmented generation (RAG) systems. It adopts a two-stage generation workflow that enables users to customize questions and user categories, thus ensuring the resulting dataset boasts high diversity and coverage. The dataset comprises documents extracted from RAG corpora, paired with question-answering pairs generated by Large Language Models (LLMs). Its core application lies in RAG system evaluation, where it addresses the shortage of diversity in existing benchmark datasets to better simulate real-world user behaviors and demands.

搜集汇总

数据集介绍

构建方式

DataMorgana采用轻量级两阶段流程构建数据集，首先在配置阶段允许详细定义用户和问题分类及其在数据集中的分布，然后生成阶段利用配置文件和LLM生成符合预期流量的Q&A对。这种方法确保了数据集的多样性和定制性，能够覆盖不同用户与RAG系统的交互方式。

特点

DataMorgana数据集的特点在于其高度的可定制性和多样性。它允许非技术人员通过自然语言描述设置Q&A对的生成方式，并且支持多种用户和问题分类，以及它们在数据集中的分布。这种灵活的配置使得生成的Q&A对能够更好地模拟真实用户与RAG系统的交互，从而提高数据集的实用性和有效性。

使用方法

使用DataMorgana数据集的方法主要包括两个阶段：配置阶段和生成阶段。在配置阶段，用户需要定义详细的用户和问题分类，以及它们在数据集中的分布概率，并将这些信息保存在JSON配置文件中。在生成阶段，DataMorgana根据配置文件自动生成提示模板，并调用LLM生成Q&A对。生成的数据集可以用于RAG系统的训练和测试，以及其他需要Q&A基准的应用。

背景与挑战

背景概述

在检索增强生成（RAG）系统，特别是在特定领域中的应用中，评估其有效性需要构建能够反映真实用户交互方式的基准数据集。由于实际数据的获取可能存在困难，一种常见的策略是使用大型语言模型（LLM）生成合成数据。现有的解决方案通常是通用的，给定一个文档，它们生成一个问题以构建问答对。然而，尽管生成的问题可能单独很好，但它们通常不足以合理地涵盖真实终端用户与RAG系统交互的不同方式。本文介绍DataMorgana，这是一个为RAG应用程序生成高度可定制和多样化合成问答基准的工具。DataMorgana允许详细配置用户和问题类别，并提供对其在基准中分布的控制。它使用轻量级的两阶段流程，确保效率和高迭代速度，同时生成反映预期流量的基准。我们进行了一系列彻底的实验，从量化和质化两个方面证明DataMorgana在生成词法、句法和语义多样的问题集方面超越了现有的工具和方法，这些问题集跨越特定领域和通用知识语料库。DataMorgana将提供给研究社区中选定的团队，作为第一个Beta测试者，在即将于2025年2月初宣布的SIGIR’2025 LiveRAG挑战赛中使用。

当前挑战

DataMorgana面临的主要挑战在于如何生成具有高度多样性的合成问答数据集，这些数据集能够反映真实用户在特定领域中的交互方式。具体挑战包括：1)生成的问题需要具有足够的多样性，以覆盖不同类型的用户和他们的需求；2)构建过程中需要确保生成的问答对与实际用户可能提出的问题相匹配，避免LLM的固有偏差；3)如何有效地控制生成的数据的分布，以确保数据集能够反映预期的用户和问题类型。此外，DataMorgana还需要解决如何在没有真实用户日志的情况下，评估生成的问题的质量和相关性，以及如何确保生成的答案与原始文档保持一致的问题。

常用场景

经典使用场景

DataMorgana作为一款用于生成高度定制化和多样化的合成问答基准的工具，广泛应用于评估检索增强生成（RAG）系统，特别是在特定领域。它通过配置文件定义用户和问题的详细分类和类别，从而控制它们在基准中的分布，以反映预期的流量。DataMorgana采用轻量级的两阶段过程，确保效率和快速迭代，同时生成的基准能够反映预期的流量。

衍生相关工作

DataMorgana的引入为合成基准生成领域带来了新的思路。它的两阶段过程和详细的配置能力为其他研究提供了参考。例如，InPars和ARES等工具也采用了类似的生成流程，但它们没有提供像DataMorgana那样的详细配置能力。此外，DataMorgana的多样化生成策略也为其他研究提供了启示，例如Yoon和Bak的研究，他们通过递归生成框架来提高生成问题的多样性。

数据集最近研究

最新研究方向

DataMorgana 作为一种高度可定制的合成问答基准生成工具，其最新研究方向主要集中在如何更好地模拟真实用户与 RAG 系统的交互方式，从而提高基准的多样性和覆盖范围。这包括对用户和问题进行详细的分类，并控制其在基准中的分布，以生成能够反映预期流量的基准。此外，DataMorgana 还致力于提供更精细的配置能力，使得非技术用户也能够轻松生成符合特定需求的问答对。在未来的发展中，DataMorgana 还计划引入更多功能，例如生成合成对话等，以及提供更多的控制机制，例如文档采样等。

相关研究论文

• Generating Diverse Q&A Benchmarks for RAG Evaluation with DataMorgana

  技术创新研究所 · 2025年