PIQA (Physical Interaction: Question Answering)

“PIQA 是用于常识推理的数据集，旨在调查 NLP 中现有模型的物理知识。物理 IQA 是一个二元选择任务，通常更好地视为一组两个（目标、解决方案）对。目标要使用水瓶将蛋清与蛋黄分离，您应该...蛋黄。继续推动，这会产生吸力并提起蛋黄。评估是对这个二元任务的简单准确度预测。