AssistQ

我们构建了AssistQ数据集，基于AI助手应该从教学视频和脚本中学习，以逐步指导用户。数据集包括从100新拍摄的第一人称视频导出的529问答样本。 每个问题都带有多步候选答案，可以通过从视觉细节 (例如，按钮的位置) 和纹理细节 (例如，按/转动作) 中推断出教学视频来完成。