ConvLab/kvret

---
language:
- en
license: []
multilinguality:
- monolingual
pretty_name: KVRET
size_categories:
- 1K<n<10K
task_categories:
- conversational
---

# Dataset Card for KVRET

- **Repository:** https://nlp.stanford.edu/blog/a-new-multi-turn-multi-domain-task-oriented-dialogue-dataset/
- **Paper:** https://arxiv.org/pdf/1705.05414.pdf
- **Leaderboard:** None
- **Who transforms the dataset:** Qi Zhu(zhuq96 at gmail dot com)

To use this dataset, you need to install [ConvLab-3](https://github.com/ConvLab/ConvLab-3) platform first. Then you can load the dataset via:
```
from convlab.util import load_dataset, load_ontology, load_database

dataset = load_dataset('kvret')
ontology = load_ontology('kvret')
database = load_database('kvret')
```
For more usage please refer to [here](https://github.com/ConvLab/ConvLab-3/tree/master/data/unified_datasets).

### Dataset Summary

In an effort to help alleviate this problem, we release a corpus of 3,031 multi-turn dialogues in three distinct domains appropriate for an in-car assistant: calendar scheduling, weather information retrieval, and point-of-interest navigation. Our dialogues are grounded through knowledge bases ensuring that they are versatile in their natural language without being completely free form.

- **How to get the transformed data from original data:**
- Run `python preprocess.py` in the current directory.
- **Main changes of the transformation:**
- Create user `dialogue acts` and `state` according to original annotation.
- Put dialogue level kb into system side `db_results`.
- Skip repeated turns and empty dialogue.
- **Annotations:**
- user dialogue acts, state, db_results.

### Supported Tasks and Leaderboards

NLU, DST, Context-to-response

### Languages

English

### Data Splits

| split | dialogues | utterances | avg_utt | avg_tokens | avg_domains | cat slot match(state) | cat slot match(goal) | cat slot match(dialogue act) | non-cat slot span(dialogue act) |
|------------|-------------|--------------|-----------|--------------|---------------|-------------------------|------------------------|--------------------------------|-----------------------------------|
| train | 2424 | 12720 | 5.25 | 8.02 | 1 | - | - | - | 98.07 |
| validation | 302 | 1566 | 5.19 | 7.93 | 1 | - | - | - | 97.62 |
| test | 304 | 1627 | 5.35 | 7.7 | 1 | - | - | - | 97.72 |
| all | 3030 | 15913 | 5.25 | 7.98 | 1 | - | - | - | 97.99 |

3 domains: ['schedule', 'weather', 'navigate']
- **cat slot match**: how many values of categorical slots are in the possible values of ontology in percentage.
- **non-cat slot span**: how many values of non-categorical slots have span annotation in percentage.

### Citation

```
@inproceedings{eric-etal-2017-key,
title = "Key-Value Retrieval Networks for Task-Oriented Dialogue",
author = "Eric, Mihail and
Krishnan, Lakshmi and
Charette, Francois and
Manning, Christopher D.",
booktitle = "Proceedings of the 18th Annual {SIG}dial Meeting on Discourse and Dialogue",
year = "2017",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/W17-5506",
}
```

### Licensing Information

TODO

---
语言：
- 英语
许可协议：[]
多语言属性：
- 单语种
规范名称：KVRET
数据规模分类：
- 1000 < 样本数 < 10000
任务类别：
- 会话式
---
# KVRET数据集卡片

- **仓库地址：** https://nlp.stanford.edu/blog/a-new-multi-turn-multi-domain-task-oriented-dialogue-dataset/
- **论文链接：** https://arxiv.org/pdf/1705.05414.pdf
- **排行榜：** 无
- **数据集转换者：** 朱奇（邮箱：[e-mail]）

如需使用该数据集，请先安装[ConvLab-3](https://github.com/ConvLab/ConvLab-3)平台，随后可通过以下代码加载数据集：
python
from convlab.util import load_dataset, load_ontology, load_database

dataset = load_dataset('kvret')
ontology = load_ontology('kvret')
database = load_database('kvret')

更多使用方法请参考[此处](https://github.com/ConvLab/ConvLab-3/tree/master/data/unified_datasets)。

### 数据集概述
为缓解相关研究痛点，我们发布了包含3031轮多轮对话的语料库，覆盖车载助手适用的三大独立领域：日程安排、天气信息查询及兴趣点导航。本数据集的对话均基于知识库（knowledge base）构建，确保其自然语言表达兼具多样性与约束性，而非完全无限制的自由文本。

### 数据转换与标注说明
- **如何从原始数据生成转换后的数据：**
- 在当前目录下执行 `python preprocess.py` 即可。
- **转换的主要改动：**
- 根据原始标注生成用户对话行为（dialogue acts）与对话状态。
- 将对话级知识库纳入系统侧的数据库返回结果（db_results）。
- 过滤重复轮次与空对话。
- **标注内容：**
- 用户对话行为、对话状态、数据库返回结果。

### 支持任务与排行榜
自然语言理解（NLU）、对话状态跟踪（DST）、上下文到回复生成

### 语言
英语

### 数据划分
| 数据集划分 | 对话数量 | 话语总数 | 平均每对话话语数 | 平均每话语Token数 | 平均涉及领域数 | 分类槽匹配（状态） | 分类槽匹配（目标） | 分类槽匹配（对话行为） | 非分类槽跨度（对话行为） |
|------------|-------------|--------------|-----------|--------------|---------------|-------------------------|------------------------|--------------------------------|-----------------------------------|
| 训练集 | 2424 | 12720 | 5.25 | 8.02 | 1 | - | - | - | 98.07 |
| 验证集 | 302 | 1566 | 5.19 | 7.93 | 1 | - | - | - | 97.62 |
| 测试集 | 304 | 1627 | 5.35 | 7.7 | 1 | - | - | - | 97.72 |
| 总计 | 3030 | 15913 | 5.25 | 7.98 | 1 | - | - | - | 97.99 |

三大领域：['schedule', 'weather', 'navigate']
- **分类槽匹配（cat slot match）**：指分类槽的取值符合本体预设可选值的百分比比例。
- **非分类槽跨度（non-cat slot span）**：指非分类槽带有跨度标注的取值百分比比例。

### 引用格式
bibtex
@inproceedings{eric-etal-2017-key,
title = "Key-Value Retrieval Networks for Task-Oriented Dialogue",
author = "Eric, Mihail and
Krishnan, Lakshmi and
Charette, Francois and
Manning, Christopher D.",
booktitle = "Proceedings of the 18th Annual {SIG}dial Meeting on Discourse and Dialogue",
year = "2017",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/W17-5506",
}

### 许可信息
待补充

原始信息汇总

KVRET数据集概述

数据集基本信息

• 名称: KVRET
• 语言: 英语
• 类型: 单语种
• 规模: 1K<n<10K
• 任务类型: 对话型

数据集内容

• 描述: 包含3,031个多轮对话，涉及三个领域：日历调度、天气信息检索和兴趣点导航。对话基于知识库，确保自然语言的多样性同时不失去结构。
• 数据转换:
  • 转换脚本: python preprocess.py
  • 主要变化:
    • 根据原始标注创建用户对话行为和状态。
    • 将对话级别的知识库信息放入系统侧的db_results。
    • 跳过重复的回合和空对话。
• 标注信息: 用户对话行为、状态、db_results。

数据集使用

• 安装要求: 需要先安装ConvLab-3平台。
• 加载方式: python from convlab.util import load_dataset, load_ontology, load_database dataset = load_dataset(kvret) ontology = load_ontology(kvret) database = load_database(kvret)

数据集统计

分割	对话数	话语数	平均话语数	平均令牌数	平均领域数	类别槽匹配(状态)	类别槽匹配(目标)	类别槽匹配(对话行为)	非类别槽跨度(对话行为)
训练	2424	12720	5.25	8.02	1	-	-	-	98.07
验证	302	1566	5.19	7.93	1	-	-	-	97.62
测试	304	1627	5.35	7.7	1	-	-	-	97.72
全部	3030	15913	5.25	7.98	1	-	-	-	97.99

• 领域: [schedule, weather, navigate]
• 类别槽匹配: 类别槽值在知识库可能值中的百分比。
• 非类别槽跨度: 非类别槽值具有跨度标注的百分比。

引用信息

@inproceedings{eric-etal-2017-key, title = "Key-Value Retrieval Networks for Task-Oriented Dialogue", author = "Eric, Mihail and Krishnan, Lakshmi and Charette, Francois and Manning, Christopher D.", booktitle = "Proceedings of the 18th Annual {SIG}dial Meeting on Discourse and Dialogue", year = "2017", publisher = "Association for Computational Linguistics", url = "https://aclanthology.org/W17-5506", }

许可证信息

待定

搜集汇总

数据集介绍

构建方式

在车载助手领域，KVRET数据集通过精心设计的流程构建而成。该数据集源自3,031个多轮对话，覆盖日历安排、天气查询与兴趣点导航三个具体领域。构建过程中，对话内容均以知识库为基础进行锚定，确保语言既自然又不失结构性。原始数据经过预处理脚本转化，剔除了重复对话轮次与空对话，同时依据原始标注生成了用户对话行为、对话状态等结构化信息，并将对话层面的知识库条目整合至系统端的数据库结果中，从而形成了兼具多样性与一致性的对话语料。

特点

KVRET数据集展现出鲜明的领域特性与丰富的结构化标注。其对话均围绕车载环境下的三大实用场景展开，每个对话严格对应单一领域，确保了任务的清晰性与针对性。数据集不仅包含原始对话文本，还提供了用户对话行为、对话状态以及基于知识库的数据库结果等多层次标注。这些标注支持对话状态跟踪、自然语言理解及上下文生成等多种任务，且通过分类槽位匹配与非分类槽位跨度指标，量化了标注的完整性与一致性，为模型评估提供了可靠基准。

使用方法

为有效利用KVRET数据集，研究者需首先安装ConvLab-3平台。随后，可通过平台提供的工具函数便捷加载数据集、本体知识及数据库。具体而言，调用`load_dataset`、`load_ontology`与`load_database`函数并指定'kvret'参数即可获取相应资源。该数据集适用于训练与评估任务型对话系统中的自然语言理解、对话状态跟踪及上下文响应生成等模块。用户可参照ConvLab-3项目中的统一数据集使用指南，进一步探索其在多轮、多领域对话建模中的实际应用。

背景与挑战

背景概述

KVRET数据集由斯坦福大学研究团队于2017年构建，旨在推动面向任务的对话系统研究。该数据集聚焦于车载助手场景，涵盖日历安排、天气查询和兴趣点导航三个领域，共包含3,031段多轮对话。其核心研究问题在于如何通过知识库的约束，生成既自然又具实际应用价值的对话数据，为对话状态跟踪、自然语言理解等任务提供了重要基准，显著促进了任务型对话系统的发展。

当前挑战

KVRET数据集面临的挑战主要体现在两个方面：在领域问题上，它需解决多领域、多轮次对话中上下文依赖与知识库检索的复杂性，这对模型的语义理解和推理能力提出了较高要求；在构建过程中，数据集需确保对话的自然性与知识库的准确对齐，同时处理重复对话轮次和空对话的过滤，以维持数据质量与一致性。

常用场景

经典使用场景

在任务型对话系统的研究领域，KVRET数据集以其多轮、多领域的特性，成为评估对话状态追踪和上下文理解能力的经典基准。该数据集模拟车载助手场景，涵盖日历安排、天气查询和兴趣点导航三个具体领域，每个对话均基于知识库进行接地，确保语言的自然性与多样性。研究者通常利用其丰富的对话轮次和结构化标注，训练模型在复杂交互中准确解析用户意图并维护对话状态，从而推动端到端对话系统的性能优化。

解决学术问题

KVRET数据集有效应对了任务型对话系统中长期存在的关键挑战，如多轮对话的连贯性维护、领域知识的动态集成以及用户意图的精确捕捉。通过提供大量基于知识库的接地对话，该数据集助力研究者突破传统单领域对话的局限，探索跨领域上下文建模方法。其标注信息包括用户对话行为、状态和数据库结果，为自然语言理解、对话状态追踪及上下文到响应的生成任务提供了可靠评估框架，显著提升了对话系统在真实场景中的鲁棒性和适应性。

衍生相关工作

自KVRET数据集发布以来，已催生了一系列经典研究工作，尤其在键值检索网络和神经对话模型方面影响深远。原始论文提出的键值检索网络架构，利用该数据集验证了基于知识库的响应生成机制，为后续的检索增强型对话系统奠定了基础。此外，许多研究在此基础上拓展了跨领域状态追踪、多任务学习及迁移学习方法，进一步推动了任务型对话系统的技术进步。这些衍生工作不仅丰富了对话人工智能的理论体系，也为实际系统的优化提供了重要参考。