哈利波特对话(HPD)数据集|对话代理数据集|自然语言处理数据集

arXiv2023-10-09 更新2024-06-21 收录

对话代理

自然语言处理

下载链接：

https://nuochenpku.github.io/HPD.github.io

下载链接

链接失效反馈

资源简介：

哈利波特对话(HPD)数据集是由腾讯AI实验室和香港科技大学(广州)联合创建的双语数据集，旨在推进对话代理与故事角色对齐的研究。该数据集包含《哈利波特》系列小说中的所有对话，涵盖英语和中文版本，并附有重要的背景信息，如对话场景、说话者、角色关系和属性。HPD数据集不仅为大型语言模型提供了丰富的角色驱动对话能力，还可用作评估语言模型与特定角色对齐程度的通用基准。此外，数据集的构建过程中，特别关注了场景、属性和关系的动态变化，以更准确地反映故事情节的发展。HPD数据集的应用领域广泛，特别是在提升对话代理与故事角色的对齐度方面，展示了其重要价值。

提供机构：

腾讯AI实验室

创建时间：

2022-11-13

AI搜集汇总

数据集介绍

构建方式

哈利波特对话（HPD）数据集的构建基于《哈利波特》系列小说中的所有对话场景，涵盖了英语和中文版本。数据集的构建过程包括从小说中提取对话内容，并由四位专业的哈利波特粉丝进行精细标注。标注内容包括对话场景、说话者、角色关系和属性等信息。每个对话会话都根据故事情节的发展进行了时间敏感的标注，确保角色关系和属性随着故事的推进而动态变化。训练集包含1042个对话会话，每个会话仅有一个正向响应，而测试集包含149个会话，每个会话包含1到3个正向响应和平均9个负向响应。

特点

HPD数据集的显著特点在于其丰富的背景信息标注，包括对话场景、角色关系和属性等，这些信息随着故事情节的推进而动态变化。此外，数据集是双语的，涵盖了英语和中文版本，且不依赖机器翻译，确保了数据质量的一致性。数据集还提供了详细的测试集设计，支持对话生成和检索任务的评估。通过这些标注，HPD数据集为研究对话代理与角色对齐提供了强有力的支持，尤其是在处理复杂的角色关系和动态属性时。

使用方法

HPD数据集可用于训练和评估对话生成模型，特别是那些旨在模拟特定角色行为的模型。研究者可以通过微调或上下文学习的方式使用该数据集，利用其丰富的背景信息来提升模型生成与哈利波特角色行为一致的对话响应的能力。数据集的测试集设计支持生成和检索任务的评估，研究者可以通过自动评估（如Bleu-1、Distinct-1等）和人工评估来衡量模型性能。此外，HPD数据集还可用于探索语言差异对角色对齐任务的影响，以及如何通过提示工程更好地引导模型生成符合角色特征的对话。

背景与挑战

背景概述

近年来，对话式大型语言模型（LLMs）如ChatGPT和GPT-4在构建开放域对话代理方面展现出巨大潜力。然而，将这些代理与特定角色或个体对齐仍是一个重大挑战，主要由于角色表征的复杂性和缺乏全面的标注数据。为此，腾讯AI实验室与香港科技大学合作，于2023年推出了哈利波特对话（HPD）数据集。该数据集涵盖了《哈利波特》系列小说中的所有对话（包括英文和中文版本），并附有详细的背景信息，如对话场景、说话者、角色关系和属性。这些丰富的标注旨在帮助LLMs生成更符合哈利波特角色特征的对话，并为角色对齐研究提供了一个通用的基准。

当前挑战

HPD数据集在构建过程中面临多重挑战。首先，LLMs的知识主要基于现实世界，可能与哈利波特的魔法世界设定产生冲突，导致生成内容与故事背景不符。其次，LLMs在处理复杂角色关系时表现不佳，尤其是在多重关系并存的情况下。最后，LLMs难以准确反映时间对角色的影响，导致角色在故事中的发展和表现出现不一致。此外，数据集的构建还面临标注复杂性和动态角色信息的挑战，现有的对话数据集通常缺乏随时间变化的动态标注，而HPD通过精细的角色关系和属性标注，试图解决这一问题。

常用场景

经典使用场景

哈利波特对话（HPD）数据集的经典使用场景主要集中在构建与角色对齐的对话代理。通过该数据集，研究者可以训练大型语言模型（LLMs）生成与哈利波特角色个性、情感和关系相符的对话。例如，模型可以根据对话历史、场景背景和角色属性生成符合哈利波特风格的对话，从而提升对话代理的个性化表现。

衍生相关工作

HPD数据集的发布催生了一系列相关研究工作，特别是在个性化对话生成和角色对齐领域。例如，研究者利用HPD数据集探索了如何通过动态角色关系和属性标注提升对话代理的表现。此外，HPD还为情感分析、阅读理解和虚拟角色建模等任务提供了丰富的数据支持。这些衍生工作进一步推动了个性化对话系统的发展，并为虚拟世界的角色建模提供了新的研究方向。

数据集最近研究