In-the-wild Conversational Dataset

由于最近的新型冠状病毒肺炎大流行，录像带采访已转移到电话会议平台，该平台具有分屏面板，主机在屏幕的一侧，受访者在屏幕的另一侧。这种设置对于研究面对面交流特别有利，因为两个人都直接面对相机。为了涵盖来自不同设置和人群的广泛表达，我们从6个YouTube频道中提取72小时视频的面部运动和音频。每个频道都有来自不同背景的大量受访者和主持人。我们利用最先进的面部表情提取方法DECA，从野外视频中恢复3D头部姿势和表情系数。DECA根据火焰3DMM估计姿势，表达和形状参数。3DMM定义了50个表达式系数以及3D钳口旋转 (dm = 53) 和以欧拉角为单位的3D头部旋转，如Sec中所述。3.1。对于音频，我们使用声源分离来隔离扬声器的声音。我们使用这些表达式、姿势和仅说话者音频作为伪地面真理来训练我们的码本 (式6) 和预测模型 (式10)。有关详细信息，请参阅Supp。我们发布了这个大规模、新颖的数据集。