INK-USC/riddle_sense

RiddleSense是一个用于回答谜语式问题的多选问答任务数据集，包含5.7k个例子。该数据集旨在测试复杂的常识推理能力、比喻语言理解和反事实推理技能，这些能力对于高级自然语言理解（NLU）至关重要。数据集的结构包括训练集、验证集和测试集，每个数据实例包含问题、选项和正确答案。数据集的语言为英语，且仅用于研究目的。

原始信息汇总

数据集概述

数据集名称

• 名称: RiddleSense

数据集基本信息

• 语言: 英语
• 许可证: 其他
• 多语言性: 单语种
• 大小: 1K<n<10K
• 来源: 原始数据
• 任务类别: 问答
• 任务ID: 多选题问答

数据集结构

• 特征:

  • answerKey: 字符串类型
  • question: 字符串类型
  • choices: 字典类型，包含:
    • label: 字符串类型
    • text: 字符串类型

• 数据分割:

  • train: 3510个样本，720715字节
  • validation: 1021个样本，208276字节
  • test: 1184个样本，212790字节

数据集创建

• 许可证信息:
  • 数据集版权遵循粉丝网站的使用条款，以及原始来源的知识产权和隐私权。所有谜语和答案均来自可自由访问的粉丝网站。网站所有者声明，您只能出于非商业用途打印和下载材料，前提是我们同意不更改或删除材料中的任何版权或专有通知。数据集用户必须同意仅将数据集用于研究目的，然后才能访问谜语和我们的注释。我们不保证谜语中可能存在的潜在偏见或公平性问题。您无权重新分发它们。再次，您不得将此数据集用于任何商业目的。

引用信息

@InProceedings{lin-etal-2021-riddlesense, title={RiddleSense: Reasoning about Riddle Questions Featuring Linguistic Creativity and Commonsense Knowledge}, author={Lin, Bill Yuchen and Wu, Ziyi and Yang, Yichi and Lee, Dong-Ho and Ren, Xiang}, journal={Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics (ACL-IJCNLP 2021): Findings}, year={2021} }

搜集汇总

背景与挑战

背景概述

RiddleSense是一个包含5.7k个英文谜语式多选问答的数据集，专注于测试复杂常识推理和高级自然语言理解能力，适用于非商业研究用途。