piqa

Physical Interaction: Question Answering (PIQA) 专注于物理常识推理任务，它提供了一个基准数据集，其中包含约1.6万个训练样本、3千个测试样本和近2千个验证样本。每个样本包含一个需要物理常识来回答的问题，以及两个可能的解决方案，并标注了正确答案。数据来源于日常情境，特别是那些非常规的解决方案，其创建过程受到 instructables.com 的启发，通过众包方式生成，并经过清洗以去除低质量的样本。PIQA 支持多项选择问答任务，并提供相应的排行榜。