CORAL

CORAL数据集是由中国人民大学高瓴人工智能学院创建的一个大规模多轮对话增强生成语言基准。该数据集包含8000条多样化的信息寻求对话，自动从维基百科中提取，旨在评估和提升多轮对话中的检索增强生成系统。数据集的创建过程包括从维基百科页面中提取标题树，并通过四种采样策略生成对话流。CORAL数据集的应用领域主要集中在多轮对话中的检索和生成任务，旨在解决现实世界中复杂的多轮对话问题。

CORAL is a large-scale multi-turn dialogue retrieval-augmented generation language benchmark developed by the Gaoling School of Artificial Intelligence, Renmin University of China. The dataset contains 8,000 diverse information-seeking dialogues automatically extracted from Wikipedia, and is designed to evaluate and enhance retrieval-augmented generation systems in multi-turn dialogues. The dataset creation process involves extracting title trees from Wikipedia pages and generating dialogue flows using four sampling strategies. The application scenarios of CORAL primarily focus on retrieval and generation tasks in multi-turn dialogues, aiming to address complex real-world multi-turn dialogue problems.

原始信息汇总

CORAL: Benchmarking Conversational Retrieval-Augmentation Generation

数据集概述

• 名称: CORAL
• 描述: 一个大规模的对话式检索增强生成（RAG）基准，旨在标准化和评估各种对话式RAG基线。
• 关键特征:
  • 开放领域覆盖
  • 知识密集型
  • 自由形式响应生成
  • 处理话题转移
  • 引用标注
• 任务:
  1. 对话式段落检索: 评估系统根据多轮上下文从大型文档集中检索相关信息的能力。
  2. 响应生成: 评估系统生成准确、上下文丰富答案的能力。
  3. 引用标注: 确保生成的响应通过要求正确归属来源来保持透明和基于事实。

数据集构建

• 概述: 数据集构建过程包括四个不同的对话流程采样。
• 数据统计:
  • LDS:
    • 训练集: 1800个对话, 5934个回合
    • 测试集: 200个对话, 651个回合
  • SIDS:
    • 训练集: 1800个对话, 16082个回合
    • 测试集: 200个对话, 1727个回合
  • STRW:
    • 训练集: 1800个对话, 18165个回合
    • 测试集: 200个对话, 1949个回合
  • DTRW:
    • 训练集: 1800个对话, 19411个回合
    • 测试集: 200个对话, 2153个回合

数据格式

• 文件格式: JSONL
• 文件结构: json { "conv_id": "Train_type_convid", "turns": [ { "turn_id": 1, "question": "", "response": "", "golden_rewrite": "", "golden_docs_pids": [], "golden_docs_text": [] }, { "turn_id": 2, "question": "", "response": "", "golden_rewrite": "", "golden_docs_pids": [], "golden_docs_text": [] }, ... ] }

许可证

• 代码: MIT License
• 数据集: CC BY-SA-4.0

搜集汇总

数据集介绍

构建方式

CORAL数据集通过自动从维基百科中提取信息寻求对话来构建，涵盖了多轮对话的真实场景。具体而言，数据集利用维基百科页面的（子）标题作为问题来源，相应的人类编写内容作为高质量的自由形式回答。通过设计四种基于维基百科页面自然层次属性的采样策略，确保对话流程的连贯性和多样性。此外，利用强大的大型语言模型（如GPT-4）将原始维基百科标题转化为包含上下文依赖的对话查询，最终形成完整的对话。

特点

CORAL数据集的独特之处在于其全面覆盖了多轮对话RAG系统的关键特征，包括开放领域覆盖、知识密集性、自由形式回答生成、话题转换处理和引用标注。这些特征使得CORAL能够系统地评估和推进多轮对话RAG系统，填补了现有数据集在评估多轮对话RAG系统方面的空白。

使用方法

CORAL数据集支持三个核心任务：对话段落检索、回答生成和引用标注。用户可以通过这些任务评估系统在多轮对话环境中的表现，具体包括系统从大规模文档集中提取相关信息的能力、生成准确且上下文丰富的回答的能力，以及确保生成回答透明且基于正确信息源的能力。此外，CORAL提供了一个统一的框架，用于标准化和评估各种对话RAG基线方法，促进该领域的系统比较和进步。

背景与挑战

背景概述

CORAL数据集由中国人民大学高岭人工智能学院、北京人工智能研究院、华为泊松实验室和早稻田大学的研究人员共同创建，旨在评估检索增强生成（RAG）系统在多轮对话环境中的表现。该数据集于2024年推出，主要研究问题是如何在多轮对话中有效利用外部知识检索来增强大型语言模型（LLMs）的生成能力。CORAL数据集通过从维基百科自动提取多样化的信息寻求对话，解决了开放领域覆盖、知识密集度、自由形式响应和话题转换等关键挑战，支持对话RAG的三个核心任务：段落检索、响应生成和引用标注。该数据集的推出填补了学术研究与实际应用之间的空白，为多轮对话RAG系统的评估提供了全面的基准。

当前挑战

CORAL数据集面临的挑战主要包括：1) 解决多轮对话中的复杂性，如处理先前交互中的冗余或无关信息以及应对突如其来的话题转换；2) 构建过程中遇到的挑战，如确保数据集的开放领域覆盖、知识密集度、自由形式响应和话题转换的多样性。此外，由于现有数据集无法完全满足这些特征，CORAL的构建需要创新的方法来生成高质量的对话数据，并确保这些数据能够真实反映实际应用中的复杂对话场景。

常用场景

经典使用场景

CORAL数据集在多轮对话增强生成（RAG）系统中扮演着关键角色，其经典应用场景主要集中在评估和优化多轮对话中的信息检索和响应生成能力。通过提供从维基百科自动生成的多样化信息寻求对话，CORAL支持三个核心任务：段落检索、响应生成和引用标注。这些任务旨在模拟真实世界中的多轮对话环境，确保系统能够动态适应不断变化的上下文和用户意图。

解决学术问题

CORAL数据集解决了学术研究中多轮对话增强生成（RAG）系统面临的多个关键问题。首先，它填补了现有研究主要集中在单轮交互的空白，提供了多轮对话的复杂性评估。其次，CORAL通过涵盖开放领域覆盖、知识密集性、自由形式响应生成、话题转移和引用标注等关键特征，全面评估系统的多轮对话处理能力。这不仅推动了RAG系统在学术研究中的发展，还为实际应用中的对话系统提供了理论支持。

衍生相关工作

CORAL数据集的引入催生了一系列相关研究和工作，特别是在多轮对话增强生成（RAG）领域。研究者们基于CORAL开发了多种改进的RAG系统，包括优化段落检索、增强响应生成质量和提升引用标注准确性的方法。此外，CORAL还促进了对话查询重写（CQR）和对话密集检索（CDR）等技术的研究，推动了整个对话系统领域的技术进步。这些衍生工作不仅提升了RAG系统的性能，还为多轮对话系统的实际应用提供了新的思路和方法。