How2QA

要为视频质量检查任务收集How2QA，将同一组选定的视频剪辑显示给另一组AMT工作人员进行多选QA注释。每个工人都被分配一个视频片段，并被要求写一个问题，其中有四个答案候选者 (一个正确和三个干扰者)。同样，对工人隐藏叙述，以确保收集的QA对不会受到字幕的偏见。与TVQA类似，为每个问题的相关时刻提供了起点和终点。过滤低质量注释后，最终数据集包含44,007个QA对，从9035个视频中选择22k 60秒剪辑。