convai-challenge/conv_ai_2

ConvAI是一个标注了质量的人类与机器人对话数据集。这些数据可以用于训练评估对话系统的指标，也可以用于开发聊天机器人：它包含了对话质量和整个对话的信息，可以指导对话系统寻找更好的回答。

ConvAI is a quality-annotated human-robot conversational dataset. This dataset can be employed to train and evaluate metrics for dialogue systems, as well as develop chatbots: it contains information regarding both conversation quality and full dialogues, which can guide conversational systems to generate better responses.

原始信息汇总

数据集概述

数据集描述

数据集摘要

ConvAI 是一个人类与机器人对话的数据集，标记了对话质量。该数据可用于训练评估对话系统的指标。此外，它还可以用于聊天机器人的开发：它包含有关话语和整个对话质量的信息，可以指导对话系统寻找更好的回答。

支持的任务和排行榜

[更多信息需要]

语言

[更多信息需要]

数据集结构

数据实例

json { "dialog_id": "0x648cc5b7", "dialog": [ { "id": 0, "sender": "participant2", "text": "Hi! How is your day? ud83dude09", "sender_class": "Bot" }, { "id": 1, "sender": "participant1", "text": "Hi! Great!", "sender_class": "Human" }, { "id": 2, "sender": "participant2", "text": "I am good thanks for asking are you currently in high school?", "sender_class": "Bot" } ], "bot_profile": [ "my current goal is to run a k.", "when i grow up i want to be a physical therapist.", "im currently in high school.", "i make straight as in school.", "i won homecoming queen this year." ], "user_profile": [ "my favorite color is red.", "i enjoy listening to classical music.", "im a christian.", "i can drive a tractor." ], "eval_score": 4, "profile_match": 1 }

数据字段

• dialog_id : 对话的唯一ID。
• dialog : 对话数组。
• bot_profile : 用于评估的机器人标注响应。
• user_profile : 用于评估的用户标注响应。
• eval_score : (1, 2, 3, 4, 5) 用户对对话的喜好程度。缺失值用-1替换。
• profile_match : (0, 1) 用户被提供两个个人描述（每个4句话），其中一个是对话中的机器人给出的，另一个是随机的；用户需要选择其中一个。缺失值用-1替换。

数据分割

[更多信息需要]

数据集创建

策划理由

[更多信息需要]

源数据

初始数据收集和规范化

[更多信息需要]

源语言生产者是谁？

[更多信息需要]

标注

标注过程

[更多信息需要]

标注者是谁？

[更多信息需要]

个人和敏感信息

[更多信息需要]

使用数据的注意事项

数据集的社会影响

[更多信息需要]

偏见的讨论

[更多信息需要]

其他已知限制

[更多信息需要]

附加信息

数据集策展人

[更多信息需要]

许可信息

[更多信息需要]

引用信息

bibtex @article{DBLP:journals/corr/abs-1902-00098, author = {Emily Dinan and Varvara Logacheva and Valentin Malykh and Alexander H. Miller and Kurt Shuster and Jack Urbanek and Douwe Kiela and Arthur Szlam and Iulian Serban and Ryan Lowe and Shrimai Prabhumoye and Alan W. Black and Alexander I. Rudnicky and Jason Williams and Joelle Pineau and Mikhail S. Burtsev and Jason Weston}, title = {The Second Conversational Intelligence Challenge (ConvAI2)}, journal = {CoRR}, volume = {abs/1902.00098}, year = {2019}, url = {http://arxiv.org/abs/1902.00098}, archivePrefix = {arXiv}, eprint = {1902.00098}, timestamp = {Wed, 07 Oct 2020 11:09:41 +0200}, biburl = {https://dblp.org/rec/journals/corr/abs-1902-00098.bib}, bibsource = {dblp computer science bibliography, https://dblp.org} }

贡献

感谢 @rkc007 添加此数据集。

搜集汇总

数据集介绍

构建方式

ConvAI-2数据集的构建主要依托于众包的方式，汇集了人类与聊天机器人之间的对话记录。数据集通过设计特定的对话场景，让参与者与聊天机器人进行互动，并依据互动质量对对话进行评分，进而收集了大量标注数据。该数据集包含了对话的唯一标识、对话内容、机器人与用户的个人资料、对话评分以及个人资料匹配度等信息。

特点

ConvAI-2数据集的特点在于其专注于对话系统的质量评估，提供了对话评分和个人资料匹配度等独特的标注信息。此外，数据集还包含了机器人和用户的个人资料描述，有助于研究个性化对话系统的性能。数据集的规模适中，包含多个对话实例，适合用于训练和评估对话模型。

使用方法

使用ConvAI-2数据集时，研究者可以将其作为训练集来提升对话系统的质量评估能力，或者用于评估和比较不同对话系统的性能。数据集提供了JSON格式的对话记录，可以通过解析JSON来访问其中的字段，如对话内容、评分等信息。需要注意的是，数据集的标注信息应谨慎使用，以避免引入偏差。

背景与挑战

背景概述

在自然语言处理领域，对话系统的评估与优化一直是研究的热点。ConvAI数据集便是在此背景下应运而生，由Emily Dinan等研究人员于2019年创建。该数据集旨在通过收集人类与对话系统之间的对话，为评估对话质量提供标注数据，从而推动对话系统的性能提升。ConvAI 2作为ConvAI的后续工作，进一步扩展了数据集的规模和应用范围，对相关领域的研究产生了显著影响。

当前挑战

ConvAI 2数据集在构建过程中遇到了多方面的挑战。首先，如何确保收集到的对话数据质量高、代表性好，是数据构建中的一个难点。其次，对话系统的评估标准主观性较强，标注过程中的主观偏差是一个需要解决的挑战。此外，数据集在处理个人敏感信息时也需格外谨慎，以避免隐私泄露等法律和伦理问题。

常用场景

经典使用场景

在深度学习与自然语言处理领域，conv_ai_2数据集的典型应用场景在于训练与评估对话系统的质量。该数据集收集了人类与聊天机器人之间的对话，并标注了对话的质量评分，从而可以用于对话系统的性能评估和优化。

实际应用

在实际应用中，conv_ai_2数据集可以被用于改进客户服务聊天机器人、虚拟助手等应用，通过评估对话质量来优化用户体验。此外，该数据集还能为教育、健康咨询等领域的对话系统提供性能评估的基准。

衍生相关工作

基于conv_ai_2数据集，研究者们衍生出了一系列相关工作，包括但不限于对话系统的评价方法、对话生成模型的改进，以及针对特定领域如医疗咨询的对话系统开发。这些工作进一步扩展了数据集的应用范围，推动了相关领域的学术进展和技术创新。