StabStitch++ 数据集

StabStitch++ 数据集是一个用于训练和评估视频拼接算法的综合性数据集，包含丰富的相机运动和场景多样性。该数据集旨在解决视频拼接中的新问题——'warping shake'，即由于时间上不连续的扭曲导致的视频内容抖动。该数据集被用于训练StabStitch++框架，该框架能够同时实现空间拼接和时间稳定，通过引入双向分解模块，将拼接负担均匀分布在两个视图上，从而提高对齐度和减少扭曲。此外，该数据集还包含了由相机路径和空间时间扭曲组合得到的拼接轨迹的数学表达式，并提出了一个扭曲平滑模型，以在混合损失中同时鼓励内容对齐、轨迹平滑和在线协作。StabStitch++ 数据集的建立，为视频拼接领域的研究提供了宝贵的资源，并推动了实时在线视频拼接系统的发展。

The StabStitch++ dataset is a comprehensive dataset for training and evaluating video stitching algorithms, featuring diverse camera motions and scenes. It aims to address a novel problem in video stitching, namely 'warping shake', which refers to video content jitter caused by temporally discontinuous warping. The dataset is used to train the StabStitch++ framework, which achieves both spatial stitching and temporal stabilization simultaneously. By introducing a bidirectional decomposition module, the framework evenly distributes the stitching workload across the two views, thereby improving alignment accuracy and reducing warping artifacts. Additionally, the dataset includes mathematical expressions of stitching trajectories derived from combinations of camera paths and spatiotemporal warping, and proposes a warping smoothing model that simultaneously encourages content alignment, trajectory smoothness, and online collaboration in the hybrid loss function. The establishment of the StabStitch++ dataset provides a valuable resource for research in the video stitching field and promotes the development of real-time online video stitching systems.

原始信息汇总

StabStitch++ 数据集概述

基本信息

• 数据集名称: StabStitch++
• 主要开发者: Lang Nie, Chunyu Lin, Kang Liao, Yun Zhang, Shuaicheng Liu, Yao Zhao
• 机构: 北京交通大学、南洋理工大学、浙江传媒学院、电子科技大学
• 联系邮箱: [e-mail]

主要贡献

1. 双向分解模块: 在虚拟中间平面上进行双向变形，均匀分担变形负担，适用于图像和视频拼接。
2. 变形平滑模型: 在在线模式下同时优化内容对齐、轨迹平滑和在线协作。

性能对比

指标	StabStitch	StabStitch++
对齐 (PSNR/SSIM)	29.89/0.890	30.88/0.898
稳定性	48.74	41.70
失真	0.674	0.371
推理速度 (fps)	35.5	28.3

数据集

• StabStitch-D 数据集: 参考 StabStitch。
• 传统数据集: 可通过 Google Drive 或 百度云（提取码: 1234）获取。

代码与运行环境

• 环境要求:
  • Python 3.8.5
  • numpy 1.19.5
  • pytorch 1.13.1+cu116
  • opencv-python-headless 4.5.1.48
  • scikit-image 0.15.0
  • tensorboard 2.9.0
• 运行指南:
  • 推理: 参考 Full_model_inference/README.md
  • 训练: 分别参考 SpatialWarp, TemporalWarp, SmoothWarp

参考文献

1. Nie, L., et al. "Eliminating Warping Shakes for Unsupervised Online Video Stitching." ECCV, 2025.
2. Nie, L., et al. "Parallax-Tolerant Unsupervised Deep Image Stitching." ICCV, 2023.
3. Liu, S., et al. "Meshflow: Minimum latency online video stabilization." ECCV, 2016.

搜集汇总

数据集介绍

构建方式

StabStitch++数据集的构建基于对视频拼接领域新兴问题——‘warping shake’的深入研究。该问题揭示了在将图像拼接技术扩展到视频拼接时，由序列非平滑扭曲引起的时间内容抖动现象。为了解决这一问题，研究团队构建了一个包含100多个视频对、总计超过10万张图像的综合性数据集。这些视频涵盖了多种摄像机运动和场景类型，包括常规场景（RE）、低纹理场景（LT）、低光照场景（LL）和快速运动场景（FM），以确保数据集的多样性和广泛适用性。每个视频的持续时间从5秒到35秒不等，分辨率统一调整为360×480像素以优化训练效率。

使用方法

StabStitch++数据集的使用方法主要包括训练和评估两个阶段。在训练阶段，研究者可以利用数据集中的视频对来训练空间扭曲模型和时间扭曲模型，以学习如何同时实现空间拼接和时间稳定。评估阶段则通过计算对齐分数（PSNR和SSIM）、扭曲分数和稳定性分数来量化算法的性能。此外，数据集还支持在线和离线两种推理模式，使得研究者可以根据实际需求选择最适合的方法。通过这种方式，StabStitch++数据集不仅促进了视频拼接技术的发展，还为实际应用中的实时视频拼接系统提供了强有力的支持。

背景与挑战

背景概述

StabStitch++数据集由北京交通大学信息科学研究所的Lang Nie、Chunyu Lin等研究人员于2021年提出，聚焦于视频拼接领域中的新兴问题——由时序非平滑扭曲引起的'扭曲抖动'现象。该数据集作为首个针对手持摄像机视频拼接的综合性基准，包含100组涵盖常规场景、低纹理、低光照和快速运动等多样化场景的视频对，总帧数超过10万。其创新性地通过虚拟中间平面和双向分解模块重构了空间扭曲方式，将图像拼接领域的单视角扭曲范式扩展为双视角协同优化，为视频拼接与稳定化的联合研究提供了重要实验平台。

当前挑战

StabStitch++数据集主要应对两大核心挑战：在领域问题层面，需解决稳定源视频经传统图像拼接算法处理后仍产生的时序内容抖动问题，这要求模型同时优化空间对齐精度与时序轨迹平滑度；在构建层面面临多模态数据融合的复杂性，包括不同运动模式的摄像机轨迹建模、低纹理场景的特征匹配鲁棒性保障，以及在线处理时需维持滑动窗口间轨迹一致性的实时性要求。此外，数据标注的缺失促使研究者采用无监督学习框架，通过设计混合损失函数来替代人工标注的监督信号。

常用场景

经典使用场景

StabStitch++数据集在计算机视觉领域被广泛用于视频拼接和稳定化的研究。该数据集通过提供丰富的相机运动和场景多样性，成为评估图像和视频拼接算法的基准。其经典使用场景包括多视角视频的无缝拼接，特别是在手持相机拍摄的视频中消除由时间不连续的形变引起的抖动效应。

解决学术问题

StabStitch++数据集解决了视频拼接中的关键学术问题，即形变抖动（warping shake）。这一问题在将图像拼接技术直接应用于视频时尤为突出，即使输入视频本身稳定，拼接后的视频仍会出现不希望的抖动。该数据集通过提供多样化的视频样本，支持研究者开发同时实现空间拼接和时间稳定的算法，从而在保持内容对齐的同时消除抖动。

实际应用

在实际应用中，StabStitch++数据集被用于开发实时在线视频拼接系统，广泛应用于虚拟现实、视频监控和自动驾驶等领域。例如，在虚拟现实中，该数据集支持的算法能够生成无缝且稳定的全景视频，显著提升用户体验。此外，数据集还被用于优化多摄像头系统的视频输出，确保在动态场景中的高质量拼接效果。

数据集最近研究

最新研究方向

近年来，StabStitch++数据集在计算机视觉领域引起了广泛关注，特别是在视频拼接和稳定化技术方面。该数据集通过提供多样化的相机运动和场景，为视频拼接算法的训练和评估提供了全面的基准。前沿研究方向主要集中在无监督在线视频拼接框架的开发，该框架通过时空双向变形技术解决了传统图像拼接技术直接应用于视频时产生的时间性内容抖动问题。此外，研究者们还探索了如何在保证内容对齐的同时实现轨迹平滑和在线协作，从而在实时在线视频拼接系统中实现高质量的拼接效果。StabStitch++数据集的发布不仅推动了视频拼接技术的发展，还为相关领域的研究提供了重要的数据支持。

相关研究论文

• StabStitch++: Unsupervised Online Video Stitching with Spatiotemporal Bidirectional Warps

  北京交通大学信息科学研究所 · 2025年