SVSR-Set

SVSR-Set是由Bahcesehir University创建的新型数据集，专为Stereoscopic Video Super-Resolution任务设计。该数据集包含71个全高清立体视频，这些视频是通过专业立体相机ZED 2捕捉的，涵盖多种室内外场景。数据集的创建过程涉及精确的相机校准和视频录制，确保了数据的质量和适用性。SVSR-Set主要用于训练和评估立体视频超分辨率模型，特别是在保持立体一致性和时间一致性方面，旨在解决3D视觉疲劳等问题。SVSR-Set is a novel dataset developed by Bahcesehir University, specifically tailored for the Stereoscopic Video Super-Resolution task. This dataset comprises 71 full HD stereoscopic videos captured using the professional stereoscopic camera ZED 2, covering diverse indoor and outdoor scenarios. The dataset creation process incorporates precise camera calibration and video recording, which guarantees the data quality and applicability. SVSR-Set is primarily utilized for training and evaluating stereoscopic video super-resolution models, particularly in scenarios requiring the maintenance of stereoscopic consistency and temporal consistency, with the goal of addressing issues such as 3D visual fatigue.

搜集汇总

数据集介绍

构建方式

立体视频超分辨率任务长期受限于高质量真实世界数据集的匮乏。为此，研究者利用专业ZED 2立体相机，在多样化的室内外场景中采集了71段全高清（1080×1920）立体视频，每段时长20秒、帧率为30 FPS，构建了SVSR-Set数据集。视频内容涵盖人物、车辆、植物、水面等丰富元素，并覆盖白天/夜间、高/低光照、高/低运动强度等多种条件，同时提供了连续两帧的视差真值，以确保数据的全面性与实用性。

特点

SVSR-Set是目前立体视频超分辨率领域规模最大的真实世界数据集，其核心优势在于兼顾了立体一致性与时间一致性。与仅包含静态图像对的现有数据集不同，该数据集通过连续视频帧保留了时间维度信息，能够有效支撑对时序建模的研究。此外，数据集采用专业相机校准流程以消除内部偏移，并提供了高精度视差标注，为评估超分辨率结果的立体保真度奠定了坚实基础。

使用方法

数据集被随机划分为58段训练视频与13段测试视频。使用时，首先对高清帧进行双三次下采样以生成低分辨率输入，而后将低分辨率帧及其对应的高清标签裁剪为32×88像素的非重叠块。研究者基于此数据集训练了Trans-SVSR模型，并分别在4倍和6倍超分辨率任务上进行了验证，同时也可直接用于立体图像超分辨率方法的评估。数据集及项目代码已公开发布，以促进领域内的可重复研究。

背景与挑战

背景概述

立体视频超分辨率（SVSR）旨在从低分辨率立体视频中重建高分辨率内容，是增强现实、虚拟现实及自动驾驶等领域的关键技术。然而，现有研究多集中于立体图像超分辨率，对立体视频的关注相对匮乏，且缺乏大规模真实世界基准数据集。为填补这一空白，Hassan Imani等人于2022年构建了SVSR-Set数据集，该数据集由专业ZED 2立体相机采集，包含71段全高清（1080×1920）立体视频，涵盖室内外、高低光照及不同运动强度等多种场景，时长20秒，帧率30 FPS。作为当前最大的真实SVSR数据集，它显著推动了立体视频超分辨率研究的发展，为模型训练与评估提供了坚实基础。

当前挑战

SVSR面临的核心挑战在于同时保持立体一致性与时间一致性，以消除观众可能产生的3D疲劳。具体而言，立体视频需在左右视图间维持精确视差，并在连续帧间保持运动连贯性，这对模型提出了双重约束。在数据集构建中，挑战亦十分显著：立体视频采集需精密校准相机内参，确保左右摄像头光学属性一致；同时，需在多样化场景（如低光照、高动态运动）下获取高质量视频，且数据标注耗时费力，例如为相邻帧提供视差真值。此外，现有数据集如KITTI和SceneFlow因帧间隔过大或为合成数据，难以直接用于SVSR，进一步凸显了构建真实、大规模数据集的紧迫性。

常用场景

经典使用场景

SVSR-Set是面向立体视频超分辨率（SVSR）任务的专用基准数据集，包含71段由专业ZED 2立体相机采集的全高清（1080×1920）立体视频，覆盖室内外、昼夜、高低运动强度等多种复杂场景。该数据集的核心用途在于为训练和评估立体视频超分辨率模型提供大规模、高质量的真实世界数据，尤其适用于需要同时保持立体一致性和时间一致性的深度学习模型开发。研究者可基于SVSR-Set设计时空融合网络，例如利用Transformer架构捕获帧间运动信息与视差关系，从而提升低分辨率立体视频的重建质量。

实际应用

在增强现实（AR）、虚拟现实（VR）、自动驾驶及立体视觉机器人等实际应用中，SVSR-Set提供了关键的数据支撑。例如，在VR头显中，低分辨率立体视频会导致用户产生眩晕感，而基于SVSR-Set训练的模型可实时将低清立体视频重建为高分辨率内容，提升沉浸式体验。在自动驾驶领域，立体相机捕获的道路视频常因光照或运动模糊而降质，SVSR-Set中的夜间与高动态场景数据可帮助算法恢复细节，增强障碍物检测与环境感知的可靠性。此外，该数据集还可用于双镜头智能手机的视频增强，提升立体拍摄的画质。

衍生相关工作

SVSR-Set的发布直接催生了多项经典研究工作，其中最具代表性的是Trans-SVSR模型。该模型首次将Transformer架构引入立体视频超分辨率，设计了时空卷积自注意力层与光流前馈层，有效融合了帧间运动信息与视差线索。此外，研究者基于SVSR-Set对比了多种立体图像超分辨率方法（如PASSRnet、iPASSR）和2D视频超分辨率方法（如BasicVSR、RRN）的扩展性能，揭示了直接迁移这些方法在立体视频任务中的局限性。该数据集还启发了后续关于立体一致性损失函数设计、模型轻量化剪枝以及跨数据集泛化能力评估等方向的研究，成为立体视觉领域的重要基石。