tasksource/fool-me-twice

FoolMeTwice (FM2) 是一个通过多人在线游戏收集的大型蕴含对数据集，旨在通过游戏化方式鼓励玩家创造对抗性示例，从而降低依赖捷径解决问题的例子数量。数据集通过两个任务收集数据：第一个任务要求玩家根据维基百科页面内容编写一个合理的声明；第二个任务展示两个由其他玩家编写的合理声明，其中一个为假，玩家需在时间限制内识别出假声明。游戏设计使得玩家需要支付以查看从证据池中检索的线索，这增加了声明的难度。数据集和游戏代码已开源。

原始信息汇总

数据集概述

名称: FoolMeTwice (FM2)

描述: FoolMeTwice是一个大型数据集，专注于挑战性的文本蕴含对。该数据集通过一个多玩家游戏收集，旨在通过游戏化鼓励生成对抗性示例，从而减少依赖“捷径”解决问题的示例数量。

内容: 数据集包含两个主要任务：

1. 玩家需根据维基百科页面的证据撰写一个合理的声明。
2. 玩家需识别两个由其他玩家撰写的合理声明中哪个是错误的。

特点:

• 游戏化设计，鼓励玩家生成高质量的对抗性示例。
• 包含多种策略，如时间推理和引用无关证据，以提高数据质量。

出版信息:

• 发表于2021年北美计算语言学协会人类语言技术会议。
• 出版商: 计算语言学协会。

许可: Apache-2.0