google-research-datasets/taskmaster3

Taskmaster-3数据集是一个面向目标导向对话的数据集，包含23,757个电影票务对话。这些对话是通过‘自我对话’方法创建的，即由单个众包工作者编写对话双方的发言。数据集的结构包括对话ID、指令、场景、发言列表等字段，每个发言又包含索引、发言者、文本、API调用等信息。数据集的语言为英语，且所有对话的垂直领域均为‘电影票务’。

Taskmaster-3 Dataset is a goal-oriented dialogue dataset containing 23,757 movie ticket booking conversations. These conversations were created using the "self-dialogue" method, where a single crowdworker writes the utterances for both parties of the dialogue. The dataset's structure includes fields such as conversation ID, instruction, scenario, and utterance list. Each utterance further contains information such as index, speaker, text, and API call. The dataset is in English, and all conversations fall under the vertical domain of "movie ticket booking".

原始信息汇总

数据集卡片 for taskmaster3

数据集描述

数据集摘要

Taskmaster-3 数据集包含 23,757 个电影票务对话。这些对话涉及客户在决定剧院、时间、电影名称、票数和日期后购买电影票，或选择退出交易。该数据集使用“自我对话”方法创建，即由单个众包工作者编写对话双方的发言。

支持的任务和排行榜

[更多信息待补充]

语言

数据集使用英语。

数据集结构

数据实例

一个典型的数据实例如下：

json { "conversation_id": "dlg-ddee80da-9ffa-4773-9ce7-f73f727cb79c", "instructions": "SCENARIO: Pretend you’re using a digital assistant to purchase tickets for a movie currently showing in theaters. ...", "scenario": "4 exchanges with 1 error and predefined variables", "utterances": [ { "apis": [], "index": 0, "segments": [ { "annotations": [ { "name": "num.tickets" } ], "end_index": 21, "start_index": 20, "text": "2" }, { "annotations": [ { "name": "name.movie" } ], "end_index": 42, "start_index": 37, "text": "Mulan" } ], "speaker": "user", "text": "I would like to buy 2 tickets to see Mulan." }, { "index": 6, "segments": [], "speaker": "user", "text": "Yes.", "apis": [ { "args": [ { "arg_name": "name.movie", "arg_value": "Mulan" }, { "arg_name": "name.theater", "arg_value": "Mountain AMC 16" } ], "index": 6, "name": "book_tickets", "response": [ { "response_name": "status", "response_value": "success" } ] } ] } ], "vertical": "Movie Tickets" }

数据字段

每个对话包含以下字段：

• conversation_id: 唯一标识符，前缀为 dlg-。
• utterances: 构成对话的 utterance 列表。
• instructions: 创建对话时给众包工作者的指示。
• vertical: 所有对话的垂直领域为 "Movie Tickets"。
• scenario: 每个对话的指示标题。

每个 utterance 包含以下字段：

• index: 0 基索引，表示 utterance 在对话中的顺序。
• speaker: 发言者角色，USER 或 ASSISTANT。
• text: utterance 的原始文本。
• segments: 带有语义注释的文本片段列表。
• apis: 在 utterance 期间调用的 API 数组。

每个 API 包含以下结构：

• name: 调用的 API 名称。
• index: 父 utterance 的索引。
• args: 包含 arg_name 和 arg_value 的列表，表示参数名称和值。
• response: 包含 response_name 和 response_value 的列表，表示响应名称和值。

每个 segment 包含以下字段：

• start_index: 注释在 utterance 文本中的起始位置。
• end_index: 注释在 utterance 文本中的结束位置。
• text: 被注释的原始文本。
• annotations: 该 segment 的注释详情列表。

每个 annotation 包含一个字段：

• name: 注释名称。

数据分割

数据集没有默认分割，以下表格列出了每个配置的实例数量：

	Train
n_instances	23757

数据集创建

策划理由

[更多信息待补充]

源数据

[更多信息待补充]

注释

[更多信息待补充]

个人和敏感信息

[更多信息待补充]

使用数据的注意事项

数据集的社会影响

[更多信息待补充]

偏见的讨论

[更多信息待补充]

其他已知限制

[更多信息待补充]

附加信息

数据集策展人

[更多信息待补充]

许可信息

数据集在 Creative Commons Attribution 4.0 License 下许可。

引用信息

[更多信息待补充]

贡献

感谢 @patil-suraj 添加此数据集。

搜集汇总

数据集介绍

构建方式

在对话系统的研究领域，高质量的目标导向对话数据集是推动技术发展的基石。Taskmaster-3数据集由Google Research构建，专注于电影票务场景，包含23,757个对话实例。该数据集采用创新的“自我对话”方法进行构建，即单个众包工作者同时扮演用户和票务代理两个角色，自行编写完整的对话轮次。这种设计不仅保证了对话流程的自然连贯性，还显著降低了数据收集成本。每个对话均包含详细的场景指令、语义标注片段以及API调用记录，为模型训练提供了丰富的结构化信息。

特点

Taskmaster-3数据集在结构设计上展现出卓越的精细度与实用性。每个对话实例包含唯一的对话ID、垂直领域标签（均为“Movie Tickets”）、场景指令及多轮对话记录。其中，对话记录中的每一条话语均标注了说话者角色（用户或助手）、原始文本、语义分段标注以及API调用信息。语义分段标注精确到字符级别的起始和结束位置，并关联具体的语义标签（如电影名称、票数等）。API调用则详细记录了函数名称、参数及返回值，完整模拟了真实对话系统中后端服务的交互过程。

使用方法

该数据集适用于多种自然语言处理任务，尤其适合对话建模、文本生成和掩码填充等场景。研究人员可直接使用HuggingFace Datasets库加载数据，通过`load_dataset('google-research-datasets/taskmaster3')`命令获取训练集。数据以JSON格式存储，每个对话实例可通过`conversation_id`唯一标识。建议将对话历史作为输入序列，结合语义标注和API调用信息进行多任务学习。数据集采用CC-BY-4.0许可协议，支持学术研究和商业应用，但需在引用时注明原始论文。

背景与挑战

背景概述

在任务导向型对话系统的研究领域，高质量、多样化的对话数据集是推动技术革新的基石。由谷歌研究团队于2020年创建的Taskmaster-3数据集，聚焦于电影票务这一垂直场景，通过“自我对话”方法由众包工作者独立模拟用户与票务代理的交互，构建了包含23,757个对话的丰富语料库。该数据集不仅涵盖了购票决策中的关键环节，如影院、时间、影片及座位选择，还引入了API调用与语义标注，为对话状态追踪和系统行为建模提供了精细化的标注框架。Taskmaster系列自发布以来，已成为评估和训练任务导向对话系统的重要基准，显著推动了该领域从简单指令执行向复杂多轮交互的演进。

当前挑战

Taskmaster-3数据集所面临的挑战主要体现在两个维度。在领域问题层面，电影票务对话涉及动态的实时信息（如场次余量、票价变化），要求模型具备强大的上下文理解与决策能力，以处理用户意图的频繁修正与多约束条件（如时间、偏好）的协同满足。在构建过程中，采用“自我对话”模式虽降低了采集成本，却引入了对话自然性与多样性不足的风险——众包工作者可能倾向于模式化的表达，导致语料缺乏真实交互中的非流畅性（如重复、修正）和情感波动。此外，API调用的标注一致性、语义片段边界的精确界定，以及跨对话场景的泛化能力，均是后续研究需攻克的关键难题。

常用场景

经典使用场景

Taskmaster-3数据集在对话系统研究领域占据着举足轻重的地位，其核心应用场景聚焦于面向目标的多轮对话建模。该数据集收录了超过两万三千七百段关于电影票购买的“自对话”语料，每一段对话都精细模拟了用户与票务代理之间的自然交互流程，涵盖了从影院选择、场次查询、影片确定到最终票务交易的完整链路。研究者常利用其丰富的API调用标注与语义片段注释，训练能够精准理解用户意图并执行复杂任务的状态追踪模型，从而推动任务型对话系统在真实场景中的鲁棒性与流畅性提升。

衍生相关工作

Taskmaster-3数据集催生了一系列具有深远影响的经典研究成果。在对话状态追踪领域，研究者基于其细粒度的语义片段标注提出了多种改进的槽位填充模型，有效提升了跨域迁移能力。同时，该数据集被广泛应用于生成式对话系统的预训练与微调，催生了诸如基于Transformer的端到端任务型对话框架。此外，围绕其丰富的错误处理场景，学术界衍生出关于对话策略学习与鲁棒性增强的专项研究，部分工作还探索了利用该数据集进行跨语言对话模型迁移的可行性，进一步拓展了任务型对话研究的边界。

数据集最近研究

最新研究方向

Taskmaster3数据集作为面向目标的多轮对话语料库，聚焦于电影票务场景下的任务型交互建模，其前沿研究方向正从传统的意图识别与槽位填充向基于大规模预训练模型的端到端对话生成与动态API调用规划演进。该数据集通过‘自对话’方法收集的23757个包含丰富语义标注和API调用序列的对话实例，为研究复杂多步骤任务中的用户目标推理、上下文感知的对话策略学习以及错误恢复机制提供了关键资源。当前，随着大语言模型在对话系统中的应用，Taskmaster3被广泛用于评估模型在遵循指令、管理多轮状态和模拟现实世界服务交互方面的能力，其精细的片段级标注与API响应结构更是推动可解释对话AI和工具增强型智能体发展的基石。这一资源不仅加速了面向任务的对话系统从规则驱动向数据驱动范式的转变，也为构建更自然、更鲁棒的虚拟助手奠定了实证基础。