sileod/discourse_marker_qa

这是一个用于评估语言模型在零样本情况下语篇标记预测能力的数据集，是Big-Bench版本的语篇标记预测数据集。该数据集基于语言建模困惑度的多项选择任务，GPT2模型在该任务上的准确率为15%，而全监督模型的准确率为30%，表明该任务对GPT2模型具有挑战性，且模型并未记住语篇标记，但高准确率仍然是可能的。

原始信息汇总

数据集概述

基本信息

• 名称: discourse_marker_qa
• 语言: 英语 (en)
• 许可证: Apache-2.0
• 多语言性: 单语种
• 大小: 小于1000条记录 (n<1K)
• 来源: 原始数据集

任务类型

• 任务类别:
  • 问答
  • 多项选择
• 任务ID:
  • open-domain-qa
  • multiple-choice-qa

创建者信息

• 标注创建者: 专家生成
• 语言创建者: 众包

数据集用途

用于评估语言模型在零样本情况下对话语标记预测的能力。