CommonsenseQA

CommonsenseQA 是常识问答任务的数据集。该数据集由 12,247 个问题组成，每个问题有 5 个选项。数据集是由 Amazon Mechanical Turk 工作人员在以下过程中生成的（括号中提供了一个示例）：人群工作人员从 ConceptNet（“河流”）和三个目标概念（“瀑布”、“桥梁”、“ Valley”）都通过相同的 ConceptNet 关系（“AtLocation”）相关联，工作人员提出三个问题，每个目标概念一个，这样只有特定的目标概念是答案，而其他两个干扰概念不是，（ “在河上哪里可以在阳光明媚的日子里端起杯子来接水？”，“我在哪里可以站在河上看水落而不湿？”，“我正在过河，我的脚是湿但我的身体是干的，我在哪里？”）对于每个问题，另一位工人从概念网（“卵石”、“溪流”、“银行”）中选择一个额外的干扰物（“卵石”、“溪流”、“银行”），作者选择另一个干扰物（“山”、 “底部”，“岛”）手动。