DEMO

DEMO是一个专为对话建模设计的基准，旨在促进对话模型的全面建模和评估。该数据集涵盖了从开场白到对话结束的系统性对话框架，并定义了一个创新的研究任务：对话元素建模。任务重点在于模型的元素意识和对话代理交互能力。数据集包含适用于英语和中文的多方面元素，并结合了模仿学习的专家经验。DEMO is a benchmark specifically designed for dialogue modeling, aiming to facilitate comprehensive modeling and evaluation of dialogue models. This dataset covers a systematic dialogue framework spanning from opening lines to the conclusion of a conversation, and defines an innovative research task: Dialogue Element Modeling. The task focuses on the model's element awareness and the interactive capabilities of dialogue agents. This dataset includes diverse elements applicable to both English and Chinese, and incorporates expert experience from imitation learning.

原始信息汇总

DEMO: Reframing Dialogue Interaction with Fine-grained Element Modeling

概述

该仓库包含我们论文DEMO的代码：通过细粒度元素建模重构对话交互。我们系统地从前奏到对话再到尾声构建对话框架，并定义了一个创新的研究任务：对话元素建模。此外，我们引入了一个量身定制的基准DEMO，以促进全面的对话建模和评估。具体来说，我们提出的任务侧重于模型的两个核心能力：（1）元素意识，涉及逆向工程以分解对话元素，以及（2）对话代理交互，涉及由元素驱动的目标导向的多轮对话建模。我们精心设计了一个数据合成框架，为对话建模贡献了一个包含多方面元素的新基准，适用于英语和中文。此外，受模仿学习的启发，我们收集了大量的专家经验，并构建了一个具有对话元素建模能力的DEMO代理。

更新

• [2024.12.07] DEMO发布！我们发布了论文、代码、模型和数据。

使用方法

步骤1 下载DEMO并解压数据 shell git clone https://github.com/MozerWang/DEMO.git cd DEMO unzip data/DEMO.zip -d data/

步骤2 创建conda环境并安装其他依赖项 shell conda create --name loong python=3.9 -y conda activate DEMO pip install -r requirements.txt

步骤3 准备模型

1. （必须）在config/gpt_4o.yaml中设置您的OPENAI密钥 shell api_key: "Your OPENAI key"

2. 如果您使用基于API的大型语言模型 shell

首先，在config/*.yaml中设置您的密钥

api_key: "Your API key"

3. 如果您使用开源的大型语言模型 shell

我们推荐使用vLLM。我们使用实现OpenAI的Completions和Chat API的HTTP服务器。

在config/*.yaml中设置您的vLLM设置

步骤4 评估 shell sh run.sh

引用

@article{wang2024demo, title={DEMO: Reframing Dialogue Interaction with Fine-grained Element Modeling}, author={Minzheng Wang and Xinghua Zhang and Kun Chen and Nan Xu and Haiyang Yu and Fei Huang and Wenji Mao and Yongbin Li}, year={2024}, journal={arXiv preprint arXiv:2412.04905}, url={https://arxiv.org/abs/2412.04905}, year={2023} }

搜集汇总

数据集介绍

构建方式

在构建DEMO数据集时，研究团队系统性地从对话的序幕、对话本身到结尾三个阶段进行框架构建，并定义了一个创新的研究任务：对话元素建模。具体而言，该任务聚焦于模型的两个核心能力：元素意识和对话代理交互。通过精心设计的数据合成框架，团队成功创建了一个包含多维度元素的基准，适用于英语和中文对话。此外，受模仿学习的启发，团队还收集了大量专家经验，构建了一个具备对话元素建模能力的DEMO代理。

特点

DEMO数据集的显著特点在于其精细化的元素建模能力，涵盖了对话的多个层面，从序幕到结尾的完整流程。该数据集不仅支持多语言应用，还通过模仿学习积累了丰富的专家经验，使得DEMO代理能够进行高效的对话元素建模。此外，DEMO数据集的设计还考虑到了模型的元素意识和对话代理交互能力，为对话系统的全面评估提供了坚实的基础。

使用方法

使用DEMO数据集的第一步是下载并解压数据。随后，创建一个conda环境并安装所需的依赖项。在准备模型时，用户需设置OPENAI密钥或配置API密钥，具体取决于所使用的语言模型类型。最后，通过运行评估脚本，用户可以对模型进行全面评估。整个过程设计简洁，便于研究人员和开发者快速上手，充分利用DEMO数据集的丰富资源。

背景与挑战

背景概述

DEMO数据集由Minzheng Wang、Xinghua Zhang等研究人员于2024年创建，主要由中科院人工智能学院、自动化研究所及阿里巴巴集团通义实验室合作完成。该数据集的核心研究问题在于重新构建对话交互框架，通过细粒度元素建模来提升对话系统的理解和生成能力。DEMO数据集的推出标志着对话系统研究进入了一个新的阶段，其创新性的元素建模方法为多语言对话系统的评估和优化提供了坚实的基础。

当前挑战

DEMO数据集在构建过程中面临多重挑战。首先，如何准确分解对话中的细粒度元素，确保模型具备元素意识，是一个复杂的技术难题。其次，实现对话代理间的有效交互，特别是在多轮对话中保持目标导向，需要高度复杂的模型设计和训练。此外，跨语言对话数据的合成与评估，以及大规模专家经验的收集与应用，也是该数据集构建过程中必须克服的挑战。

常用场景

经典使用场景

在对话系统领域，DEMO数据集的经典使用场景主要集中在细粒度元素建模上。该数据集通过系统化地构建从开场白到对话再到结束语的完整对话框架，定义了一个创新的研究任务：对话元素建模。具体而言，DEMO数据集支持模型在两个核心能力上的训练：一是元素意识，即通过逆向工程分解对话元素；二是对话代理交互，即基于元素驱动的目标导向多轮对话建模。这些功能使得DEMO成为对话系统研究中不可或缺的资源，特别是在需要高度结构化和元素驱动的对话场景中。

解决学术问题

DEMO数据集在学术研究中解决了对话系统建模的多个关键问题。首先，它通过引入细粒度元素建模，填补了传统对话系统在元素分解和重构方面的空白。其次，DEMO数据集促进了对话代理交互的研究，使得模型能够更好地理解和生成目标导向的多轮对话。此外，该数据集的多语言支持能力为跨文化对话系统的研究提供了坚实的基础。这些贡献不仅提升了对话系统的性能，还推动了相关领域的理论发展和技术创新。

衍生相关工作

DEMO数据集的发布催生了多项相关研究工作，特别是在对话系统和自然语言处理领域。例如，基于DEMO的细粒度元素建模方法，研究者们开发了多种新型对话生成模型，这些模型在多个公开基准测试中表现优异。此外，DEMO还激发了关于对话代理交互机制的深入研究，推动了多轮对话管理技术的进步。在学术界和工业界，DEMO的影响力持续扩大，成为对话系统研究的重要参考和创新源泉。