EMU (Edited Media Understanding)

多模式虚假信息，从深度伪造到简单的欺骗性编辑，是一个重要的社会问题。然而与此同时，绝大多数媒体编辑都是无害的——比如一张经过过滤的度假照片。此示例与传播虚假信息的有害编辑之间的区别在于意图之一。识别和描述这种意图是当今 AI 系统面临的一项重大挑战。
我们提出了编辑媒体理解的任务，要求模型回答开放式问题，以捕捉图像编辑的意图和含义。我们为我们的任务 EMU 引入了一个数据集，其中包含用丰富的自然语言编写的 48k 个问答对。我们的数据集可作为人工智能模型在对抗视觉错误信息方面的效用的测试平台。