henry12348/DiPlomat|对话理解数据集|语用推理数据集

DiPlomat数据集旨在评估机器在实用推理和情境对话理解方面的能力，提供了一个统一的框架来理解一般实用推理。数据集包含4,177条数据，覆盖48,900个词汇，并包含6,494个人工标注的答案，涵盖5种推理类型。数据集包含两个主要任务：实用识别和推理（PIR）以及对话问答（CQA），并提供了用于零样本NLI的数据。数据集的创建过程包括自动选择、细粒度标注和人工精炼三个步骤。

原始信息汇总

DiPlomat 数据集概述

数据集信息

配置名称：CQA

• 特征：
  • text: 字符串序列
  • speaker: 字符串序列
  • gold_statement: 字符串
  • questions: 字符串
  • answer: 字符串
• 分割：
  • train: 19805284 字节，15585 个样本
  • validation: 1959148 字节，1559 个样本
  • test: 2967746 字节，2338 个样本
• 下载大小：25566918 字节
• 数据集大小：24732178 字节

配置名称：NLI_with_context

• 特征：
  • dialogue: 字符串序列
  • speaker: 字符串序列
  • human answer: 字符串
• 分割：
  • train: 2977929 字节，2551 个样本
• 下载大小：3042193 字节
• 数据集大小：2977929 字节

配置名称：NLI_without_context

• 特征：
  • text: 字符串
  • hypothesis: 字符串
• 分割：
  • train: 1095335 字节，2551 个样本
• 下载大小：1146864 字节
• 数据集大小：1095335 字节

配置名称：PIR_first

• 特征：
  • text: 字符串序列
  • speaker: 字符串序列
  • correct_turn_number: 整数序列
• 分割：
  • train: 3442927 字节，3341 个样本
  • validation: 161433 字节，168 个样本
  • test: 687605 字节，668 个样本
• 下载大小：4366468 字节
• 数据集大小：4291965 字节

配置名称：PIR_second

• 特征：
  • text: 字符串序列
  • speaker: 字符串序列
  • correct_turn_number: 整数
  • label: 整数
  • choice: 字符串序列
• 分割：
  • train: 9263111 字节，5188 个样本
  • validation: 399924 字节，244 个样本
  • test: 1890798 字节，1062 个样本
• 下载大小：11740508 字节
• 数据集大小：11553833 字节

数据集详情

• 语言：英语
• 许可证：CC BY-NC-SA 4.0
• 数据集大小：4,177 个样本
• 词汇量：48,900 个单词
• 人工标注答案数量：6,494 个
• 人工标注答案词汇量：20,000 个单词
• 涵盖的推理类型：5 种

数据集结构

• PIR_first: 实用识别与推理子任务1
• PIR_second: 实用识别与推理子任务2
• CQA: 对话问答
• NLI_with_context: 零样本NLI（带上下文）
• NLI_without_context: 零样本NLI（无上下文）

数据集创建

源数据

• 来源：INTERVIEW 数据集（由 Majumder 等人收集）

标注过程

步骤I：自动选择

• 使用算法和模型进行初步筛选

步骤II：细粒度标注

• 利用 Amazon Mechanical Turk 进行详细标注
• 标注者需选择所有字面意义与意图意义不符的对话轮次，并提供置信度和理由

步骤III：人工精炼

• 将先前收集的人工标注理由转化为选择题
• 引入干扰选项以减少粗心标注者的影响

引用

@inproceedings{li2023diplomat, title={DiPlomat: A Dialogue Dataset for Situated Pragmatic Reasoning}, author={Hengli Li and Song-Chun Zhu and Zilong Zheng}, booktitle={Thirty-seventh Conference on Neural Information Processing Systems Datasets and Benchmarks Track}, year={2023} }

数据集卡片联系

• 邮箱：[e-mail]