DiPlomat

该数据集旨在评估机器在语用推理和情境对话理解方面的能力，通过使用Amazon Mechanical Turk创建，包含4,177个多轮对话。

This dataset is designed to evaluate machines' capabilities in pragmatic reasoning and contextual dialogue understanding. It was developed using Amazon Mechanical Turk and contains 4,177 multi-turn dialogues.

搜集汇总

背景与挑战

背景概述

DiPlomat是一个专注于情境语用推理的对话数据集，包含4,177个多轮对话和6,494个人工标注答案，旨在评估机器在语用推理和对话理解方面的能力。数据集提出了两个任务（PIR和CQA），实验显示当前大语言模型表现不佳，突出了上下文理解和推理在对话交互中的关键作用。