AudioGuided-VOS (AVOS)

为了促进基于音频的视频对象分割，我们构建了一个大规模的音频引导数据集，即AudioGuided-VOS (AVOS)，并将音频表达式引用为Tab。AVOS是RVOS、A2D和j-hmdb的延伸。我们选择三个数据集以获取其丰富的场景信息。为了获得音频注释，我们雇用了36位演讲者来完全阅读句子。为确保录音质量，要求所有扬声器都必须熟练阅读，不要结巴，卡住等情况。采样率为44、100K或以上，采样数为16位，说话速度为每分钟100-150字。说话速度应为正常说话速度，或电视播音员说话速度。在手动检查下，文本文件和音频文件的单词准确性不低于99%。每次录音的平均长度为5到6秒，总共约28小时。此外，我们进行了两轮检查。我们不仅纠正录音中的发音，还纠正原文中的语法和拼写错误。训练集、测试集和验证集的比例为75: 15:10。

搜集汇总

背景与挑战

背景概述

AudioGuided-VOS (AVOS) 是一个用于音频引导视频对象分割的大规模数据集，基于RVOS、A2D和J-HMDB扩展构建，包含约28小时的高质量音频注释，由专业演讲者录制并经过严格校验。数据集按75:15:10的比例划分为训练集、测试集和验证集。