Talking-NSQ

Talking-NSQ数据集是一个大规模的肖像动画偏好数据集，包含约41万个样本，系统地反映了用户对音频视觉同步、视觉质量和运动自然度的偏好。该数据集通过Talking-Critic模型自动标注，包括运动自然度、唇同步和视觉质量等详细标注，为研究音频驱动的肖像动画提供了宝贵的数据资源。

搜集汇总

数据集介绍

构建方式

Talking-NSQ数据集的构建依托于Talking-Critic这一多模态奖励模型，该模型通过学习人类对齐的奖励函数，量化生成视频在多维期望上的满足程度。研究团队利用该模型对四种先进的肖像动画方法生成的输出进行评估，最终整理出一个包含41万对偏好标注的大规模多维人类偏好数据集。数据集的构建过程采用了全自动化的标注流程，确保了数据规模和质量的同时，显著提升了数据利用效率。

特点

Talking-NSQ数据集的特点在于其多维度的标注体系，涵盖了运动自然度（MN）、唇部同步（LS）和视觉质量（VQ）三个关键维度，系统性地捕捉了用户在评估生成肖像动画时考虑的核心因素。该数据集规模庞大且标注精细，通过维度解耦的方式，使得单个视频可以贡献于多个偏好集合，从而在数据多样性和利用率上达到了较高水平。

使用方法

Talking-NSQ数据集的使用方法主要服务于多专家偏好优化框架TLPO的训练过程。在初步阶段，数据集被用于训练三个独立的轻量级专家模块，分别专注于运动自然度、唇部同步和视觉质量的优化。随后，通过时间步-网络层自适应融合机制，动态调整各专家模块在不同去噪时间步和网络层中的权重分布，实现细粒度的多目标协同优化。该数据集的使用有效解决了传统优化中偏好冲突和主导偏好过拟合的问题。

背景与挑战

背景概述

Talking-NSQ数据集由阿里巴巴集团的AMAP团队于2025年推出，旨在解决音频驱动肖像动画中的多维度人类偏好对齐问题。该数据集包含41万对偏好标注样本，覆盖运动自然度、唇部同步精度和视觉质量三个关键维度，是当前该领域规模最大的多维度偏好数据集。研究团队创新性地提出了Talking-Critic多模态奖励模型，通过自动化标注大幅提升了数据规模和质量，为基于扩散模型的肖像动画研究提供了重要基准。该数据集的发布显著推动了音频驱动生成领域从单一质量优化向多目标协同优化的范式转变。

当前挑战

在领域问题层面，Talking-NSQ致力于解决音频驱动肖像动画中多目标偏好的固有冲突：运动自然度与唇部同步精度存在此消彼长的竞争关系，而视觉质量优化可能削弱其他维度的表现。在构建过程中，研究团队面临标注一致性与规模扩展的双重挑战：专业人工标注成本高昂且难以保持跨维度评判标准的一致性，而自动化标注需要克服多模态（音频-视频-文本）对齐的建模难题。此外，扩散模型不同去噪阶段和网络层对偏好维度的差异化响应特性，也增加了数据集构建的复杂性。

常用场景

经典使用场景

Talking-NSQ数据集在音频驱动肖像动画领域中被广泛用于多维偏好对齐研究。通过其410K标注样本，研究者能够系统评估生成视频在运动自然度、唇同步精度和视觉质量等维度的表现，为模型优化提供细粒度反馈。该数据集特别适用于训练和验证多专家偏好优化框架（如TLPO），通过解耦冲突目标实现全面性能提升。

实际应用

在实际应用中，该数据集支撑的TLPO技术已赋能虚拟主播、数字人等场景。通过动态调整时间步和网络层的专家模块权重，系统能生成兼具自然肢体语言与精准口型的动画，满足影视级内容生产需求。阿里巴巴等企业已将其应用于电商直播，实现高保真虚拟人驱动。

衍生相关工作

基于Talking-NSQ衍生的经典工作包括HunyuanAvatar的多角色动画优化框架，以及OmniAvatar的自适应身体动画系统。这些研究扩展了数据集在跨身份保持、群组对话生成等场景的应用。后续工作如CyberHost进一步结合3D参数化模型，推动了一站式动画生成技术的发展。