ViDSOD-100

ViDSOD-100是由香港科技大学（广州）等机构创建的RGB-D视频显著对象检测数据集，包含100个视频共9,362帧，覆盖多种自然场景。数据集中的每一帧都经过人工标注，提供了高质量的显著性标注。该数据集的创建旨在解决动态RGB-D视频中显著对象检测的挑战，特别是显著性随时间变化，即显著性转移的问题。ViDSOD-100数据集的应用领域包括图像理解、动作识别等，为研究社区提供了一个新的学习和研究平台。ViDSOD-100 is an RGB-D video salient object detection dataset created by institutions including The Hong Kong University of Science and Technology (Guangzhou). It consists of 100 videos totaling 9,362 frames, covering a wide range of natural scenes. Every frame in the dataset is manually annotated with high-quality saliency annotations. This dataset is developed to address the challenges in salient object detection for dynamic RGB-D videos, particularly the issue of temporal variation of saliency, namely saliency shift. ViDSOD-100 has applications in fields such as image understanding and action recognition, providing a new learning and research platform for the research community.

搜集汇总

数据集介绍

构建方式

ViDSOD-100数据集通过从多个广泛使用的RGB-D视频数据集中收集视频片段，经过手动裁剪和标注，构建了一个包含100个视频、共计9,362帧的高质量RGB-D视频显著性目标检测数据集。每个视频帧都经过人工标注，提供了像素级的显著性掩码，确保了数据集的多样性和挑战性。数据集涵盖了多种场景和显著性目标类别，旨在为RGB-D视频显著性目标检测任务提供一个全面的学习基准。

特点

ViDSOD-100数据集具有显著的多样性和挑战性，涵盖了从静态到动态的多种场景，显著性目标的数量和类别在不同帧中动态变化。数据集包含了九大类显著性目标，且部分视频中存在多个显著性目标，增加了检测的复杂性。此外，数据集还考虑了相机和物体的运动多样性，进一步提升了数据集的实用性和研究价值。

使用方法

ViDSOD-100数据集可用于训练和评估RGB-D视频显著性目标检测模型。研究者可以通过该数据集训练深度学习模型，利用RGB图像、深度图和运动信息进行显著性目标检测。数据集的标注质量高，适合用于开发和验证新的显著性检测算法，尤其是在RGB-D视频场景下的应用。

背景与挑战

背景概述

随着深度传感器技术的快速发展，RGB-D视频的获取变得越来越普遍。RGB-D视频中的前景识别是一项基础且重要的任务。然而，现有的显著目标检测（SOD）研究主要集中在静态RGB-D图像或RGB视频上，忽略了RGB-D与视频信息的协同作用。为此，Junhao Lin等人于2024年提出了ViDSOD-100数据集，该数据集包含100个视频，共计9,362帧，涵盖了多样化的自然场景。所有帧均经过人工高质量标注，旨在为RGB-D视频显著目标检测提供一个学习导向的数据集。该数据集的提出填补了RGB-D视频显著目标检测领域的空白，推动了相关研究的发展。

当前挑战

ViDSOD-100数据集的构建面临多重挑战。首先，RGB-D视频中的显著目标检测任务比静态图像更具挑战性，因为视频帧之间的显著目标可能动态变化，这种现象被称为显著性转移。其次，数据集的构建过程中，如何确保高质量的像素级标注是一个难点，尤其是对于动态场景中的显著目标标注。此外，RGB-D视频中的深度信息与RGB图像的互补性如何有效利用，以及如何处理视频中的时空信息，都是该数据集面临的挑战。最后，如何设计一个能够有效融合RGB、深度和运动信息的模型，以提升显著目标检测的性能，也是该领域亟待解决的问题。

常用场景

经典使用场景

ViDSOD-100数据集的经典使用场景主要集中在RGB-D视频中的显著物体检测任务。该数据集通过提供100个视频序列，共9,362帧的高质量像素级标注，支持研究人员开发和评估基于RGB图像、深度图和时空信息的显著物体检测模型。其核心应用场景包括视频中的前景物体识别、视频分割以及动态场景中的显著物体检测，尤其是在深度信息与RGB图像协同作用下的复杂场景中。

解决学术问题

ViDSOD-100数据集解决了现有显著物体检测（SOD）方法在处理动态RGB-D视频时的局限性。传统方法多集中于静态RGB-D图像或RGB视频，忽略了深度信息与视频帧间的时空关联。该数据集通过提供动态场景下的显著物体标注，推动了RGB-D视频显著物体检测的研究，解决了显著物体在不同帧间的动态变化（即显著性转移）问题，为学术界提供了新的研究方向和基准。

衍生相关工作

ViDSOD-100数据集的发布催生了一系列基于RGB-D视频显著物体检测的研究工作。例如，研究者提出了基于注意力机制的三重融合网络（ATF-Net），通过融合RGB图像、深度图和运动信息，显著提升了显著物体检测的性能。此外，该数据集还推动了视频显著物体检测与视频对象分割领域的交叉研究，促进了深度学习模型在复杂动态场景中的应用。