henry12348/DiPlomat
收藏资源简介：
DiPlomat数据集旨在评估机器在实用推理和情境对话理解方面的能力，提供了一个统一的框架来理解一般实用推理。数据集包含4,177条数据，覆盖48,900个词汇，并包含6,494个人工标注的答案，涵盖5种推理类型。数据集包含两个主要任务：实用识别和推理（PIR）以及对话问答（CQA），并提供了用于零样本NLI的数据。数据集的创建过程包括自动选择、细粒度标注和人工精炼三个步骤。
The DiPlomat dataset is designed to evaluate machines' capabilities in practical reasoning and situated dialogue understanding, and provides a unified framework for comprehending general practical reasoning. The dataset consists of 4,177 instances, encompasses a total of 48,900 vocabulary tokens, and includes 6,494 manually annotated answers covering 5 types of reasoning. It features two primary tasks: Practical Recognition and Inference (PIR) and Conversational Question Answering (CQA), and also provides data for zero-shot natural language inference (NLI). The construction of the dataset involves three steps: automatic selection, fine-grained annotation, and human refinement.
DiPlomat 数据集概述
数据集信息
配置名称：CQA
- 特征：
text: 字符串序列speaker: 字符串序列gold_statement: 字符串questions: 字符串answer: 字符串
- 分割：
train: 19805284 字节，15585 个样本validation: 1959148 字节，1559 个样本test: 2967746 字节，2338 个样本
- 下载大小：25566918 字节
- 数据集大小：24732178 字节
配置名称：NLI_with_context
- 特征：
dialogue: 字符串序列speaker: 字符串序列human answer: 字符串
- 分割：
train: 2977929 字节，2551 个样本
- 下载大小：3042193 字节
- 数据集大小：2977929 字节
配置名称：NLI_without_context
- 特征：
text: 字符串hypothesis: 字符串
- 分割：
train: 1095335 字节，2551 个样本
- 下载大小：1146864 字节
- 数据集大小：1095335 字节
配置名称：PIR_first
- 特征：
text: 字符串序列speaker: 字符串序列correct_turn_number: 整数序列
- 分割：
train: 3442927 字节，3341 个样本validation: 161433 字节，168 个样本test: 687605 字节，668 个样本
- 下载大小：4366468 字节
- 数据集大小：4291965 字节
配置名称：PIR_second
- 特征：
text: 字符串序列speaker: 字符串序列correct_turn_number: 整数label: 整数choice: 字符串序列
- 分割：
train: 9263111 字节，5188 个样本validation: 399924 字节，244 个样本test: 1890798 字节，1062 个样本
- 下载大小：11740508 字节
- 数据集大小：11553833 字节
数据集详情
- 语言：英语
- 许可证：CC BY-NC-SA 4.0
- 数据集大小：4,177 个样本
- 词汇量：48,900 个单词
- 人工标注答案数量：6,494 个
- 人工标注答案词汇量：20,000 个单词
- 涵盖的推理类型：5 种
数据集结构
- PIR_first: 实用识别与推理子任务1
- PIR_second: 实用识别与推理子任务2
- CQA: 对话问答
- NLI_with_context: 零样本NLI（带上下文）
- NLI_without_context: 零样本NLI（无上下文）
数据集创建
源数据
- 来源：INTERVIEW 数据集（由 Majumder 等人收集）
标注过程
步骤I：自动选择
- 使用算法和模型进行初步筛选
步骤II：细粒度标注
- 利用 Amazon Mechanical Turk 进行详细标注
- 标注者需选择所有字面意义与意图意义不符的对话轮次，并提供置信度和理由
步骤III：人工精炼
- 将先前收集的人工标注理由转化为选择题
- 引入干扰选项以减少粗心标注者的影响
引用
@inproceedings{li2023diplomat, title={DiPlomat: A Dialogue Dataset for Situated Pragmatic Reasoning}, author={Hengli Li and Song-Chun Zhu and Zilong Zheng}, booktitle={Thirty-seventh Conference on Neural Information Processing Systems Datasets and Benchmarks Track}, year={2023} }
数据集卡片联系
- 邮箱：lihengli@stu.pku.edu.cn
