ViCo

ViCo数据集主要用于情景理解的视觉面部表情的生成，应用场景是在面对面的对话中产生受众反馈 (如点头、微笑)。ViCo总共涉及92个身份 (67个扬声器和76个听众) 以及483个视频和音频剪辑。它采用配对的 “说-听” 模式，听者根据说话者的声音和视频实时生成不同的态度。反应反馈 (正、中性、负)。与传统的语音到手势或说话头生成不同，收听者头生成利用来自说话者的音频和视频信号作为输入，并实时提供非语言反馈 (例如头部运动、面部表情)。该数据集支持广泛的应用程序，例如人机交互，视频到视频的翻译，跨模式的理解和生成。