Task2Dial

Task2Dial数据集由爱丁堡龙比亚大学创建，包含353个基于文档的任务导向对话，旨在通过信息提供者（IG）和信息跟随者（IF）之间的交流，帮助IF成功完成任务。数据集中的对话平均每轮18.15次，每轮包含19.79个令牌，显示出比现有数据集更高的词汇丰富度和变异性。该数据集的创建过程涉及从开放源和创意共享许可的烹饪网站提取数据，并通过研究助理进行标注和格式化。Task2Dial数据集主要应用于开发能够处理日常交流特征的指令提供对话系统，特别是在需要常识知识的情境中。The Task2Dial dataset was developed by Edinburgh Napier University, comprising 353 document-grounded task-oriented dialogues intended to enable the information follower (IF) to successfully complete tasks through communication between the information giver (IG) and the information follower (IF). On average, each dialogue has 18.15 turns and 19.79 tokens per turn, exhibiting higher lexical richness and variability than existing datasets. The dataset was compiled by extracting data from open-source and Creative Commons-licensed cooking websites, followed by annotation and formatting performed by research assistants. The Task2Dial dataset is primarily utilized for developing instruction-providing dialogue systems capable of addressing the features of daily communication, particularly in scenarios requiring common-sense knowledge.

原始信息汇总

Task2Dial 数据集概述

数据集描述

数据集摘要

Task2Dial 数据集包含：

1. 353 个基于真实对话的烹饪食谱文档。
2. 信息提供者（IG）和信息跟随者（IF）之间的对话，这些对话基于相关的食谱文档。

支持的任务和排行榜

该数据集用于实现一个名为 ChefBot 的对话代理，相关代码可在 GitHub 上找到。

语言

英语

数据字段

1. Task2Dial 主数据集，包含 353 个烹饪食谱，模拟 IG 和 IF 之间的真实对话。
2. 每个可替换食材的替代品列表。
3. 包含解释、比较、处理和常见存储位置信息的物体和器具列表。

数据集创建

策划理由

文本选择基于现有食谱中提供的信息质量。目标是包含完成烹饪任务所需的所有相关信息（工具、食材、重量、时间、份量），但不至于过于详细，以免影响注释者的创造力、常识和想象力。

源数据

初始数据收集和规范化

数据从三个开放源代码和创意共享许可的烹饪网站提取，这些网站允许非商业用途的研究使用。高评分的食谱优先于低评分和差评的食谱。

注释过程

每个注释者都提供了详细的指令、示例对话和 IF/IG 模板。注释者被要求阅读示例对话和原始食谱，以理解文本、上下文、组成、翻译和注释。

个人和敏感信息

提交给大学伦理委员会审查的伦理请求中，没有收集任何可用于识别个人的个人或其他数据。

使用数据的考虑

数据集的社会影响

该数据集旨在激励研究现代对话系统，解决以下挑战：

1. 对话系统应具有灵活性，允许“脱稿”场景，以模拟现实世界现象。
2. 随着对话系统在不同领域的应用，对话的复杂性可能会增加，对领域知识的依赖也会增加。

偏见的讨论

在数据收集之前，进行了三个试点研究，最终选择使用自我对话，因为其结果接近两人对话，但成本和时间更高。

附加信息

数据集策展人

食谱由不同种族、民族、国籍、社会经济地位、能力、年龄、性别和语言背景的人编写，注释者保留了底层语言，以干预社会和地区方言，增强词汇丰富性。

许可信息

CC（创意共享许可）

引用信息

Citation Information

搜集汇总

数据集介绍

构建方式

在文档驱动的任务导向对话研究领域，Task2Dial数据集的构建采用了精心设计的自对话方法。研究团队首先通过试点研究验证了自对话与双人对话在质量上的接近性，随后从三个开放许可的烹饪网站选取了353份评分较高的食谱作为基础文档。数据标注工作由经过培训的研究助理完成，他们同时扮演信息提供者与信息跟随者角色，依据食谱文档生成指令，并在对话中模拟现实场景中的澄清提问与常识回应。为确保数据质量，标注过程遵循详细指南，并设有管理员进行持续监督与反馈，最终形成了包含丰富上下文与常识推理的对话语料。

特点

Task2Dial数据集的显著特征在于其融合了文档基础与常识推理的双重挑战。与现有文档驱动对话数据集相比，该数据集的对话轮次平均达到18.15轮，每轮话语包含19.79个词元，展现出更高的语言复杂性与词汇多样性。其参考文本具有更强的词汇丰富度与变化性，生成回应常需对原始文档进行释义或重组。尤为独特的是，数据集中信息跟随者的提问可能超出文档范围，要求信息提供者借助常识知识进行回答，这为对话系统引入了处理非结构化知识的需求。此外，任务步骤需按顺序提供，要求模型具备基于上下文的规划能力，从而推动生成更自然、多样且非模板化的系统话语。

使用方法

Task2Dial数据集适用于训练与评估融合文档基础与常识推理的任务导向对话系统。研究人员可将数据集划分为训练、验证与测试集，用于开发端到端的对话生成模型，这些模型需能够依据食谱文档生成连贯指令，同时处理基于常识的澄清问题。使用该数据集时，可结合预训练语言模型进行微调，以提升模型在词汇多样性、步骤规划及常识整合方面的性能。评估指标可包括生成文本的流畅性、任务完成度，以及处理非文档基础提问的准确性。此外，该数据集还可用于探索对话状态跟踪、多意图对话管理及跨模态知识融合等研究方向，为构建更灵活、人性化的指令给予系统提供实验基础。

背景与挑战

背景概述

在自然语言处理领域，任务导向对话系统旨在通过交互协助用户完成特定任务，如烹饪指导或设备操作。传统系统多依赖结构化数据库，但现实中的领域知识常以非结构化文档形式存在，这促使研究者探索基于文档的对话建模。Task2Dial数据集由爱丁堡龙比亚大学的Carl Strathearn与Dimitra Gkatzia于2022年提出，其核心研究问题在于如何构建一个融合常识推理的文档驱动任务对话框架。该数据集模拟信息提供者与信息跟随者之间的烹饪指导场景，其中跟随者的澄清问题可能超越文档内容，需借助常识知识回应。这一创新设计推动了对话系统向更自然、灵活的方向发展，为多轮交互与常识增强生成任务设立了新基准。

当前挑战

Task2Dial数据集所针对的领域问题在于文档驱动任务对话中常识知识的整合与动态交互管理。具体挑战包括：第一，生成响应需具备词汇丰富性与多样性，避免模板化表达，以贴近人类对话的灵活性；第二，系统必须对文档内容进行有效复述与重组，以适应指令传递中的语境变化；第三，对话中出现的未基于文档的提问要求模型调用外部常识知识进行推理，这对知识库构建与推理机制提出了更高要求；第四，任务步骤需按顺序规划，并在对话中断后准确恢复上下文，增加了状态跟踪与长期依赖建模的复杂度。在构建过程中，挑战主要集中于数据收集的平衡：既要确保文档信息足够支撑任务完成，又需避免过度细节抑制注释者的创造力与常识发挥，同时还需通过人工标注保障对话质量与语言的自然度。

常用场景

经典使用场景

在任务导向对话系统研究领域，Task2Dial数据集被广泛应用于探索基于文档的指令生成与常识推理的融合机制。该数据集模拟了现实世界中信息提供者与信息接收者之间的交互场景，其中信息提供者依据文档内容生成步骤化指令，而信息接收者则可能提出超出文档范围的澄清性问题。这一设置使得研究者能够深入分析对话系统在复杂任务执行过程中的语言生成、状态跟踪及常识知识整合能力，为构建更自然、灵活的对话模型提供了关键数据支持。

衍生相关工作

Task2Dial数据集衍生了一系列经典研究工作，主要集中在文档接地对话系统的扩展与常识推理模型的创新。例如，基于该数据集的Chefbot框架探索了常识增强响应生成方法，进一步优化了任务导向对话的流畅性与实用性。同时，研究者借鉴其多轮对话结构，开发了更复杂的对话状态跟踪算法，以处理用户提问中断任务流程的挑战。此外，该数据集还促进了与MultiWOZ、Doc2Dial等现有数据集的对比分析，推动了跨领域对话生成评估标准的完善，并为后续如人机交互场景中的自适应对话系统设计提供了重要参考。

数据集最近研究

最新研究方向

在文档驱动的任务型对话领域，Task2Dial数据集正引领着结合常识推理的前沿探索。该数据集通过模拟信息提供者与信息追随者在烹饪任务中的互动，不仅要求系统基于文档生成指令，还需应对追随者提出的、超出文档范围的澄清性问题，这促使研究者开发能够融合外部常识知识的对话模型。当前热点集中于提升对话系统的灵活性与自然性，例如利用预训练语言模型增强对未见过概念的泛化能力，并探索多意图多轮次对话状态跟踪机制，以处理任务执行过程中的非顺序性提问。这些进展对于推动智能助手在复杂现实场景中的应用具有深远意义，为构建更人性化、适应性更强的对话系统奠定了数据基础。

相关研究论文

• Task2Dial: A Novel Task and Dataset for Commonsense enhanced Task-based Dialogue Grounded in Documents

  爱丁堡龙比亚大学 · 2022年