GyroVD-Syn 和 GyroVD-Real

GyroVD-Syn数据集包含合成生成的模糊视频帧、地面真值帧、陀螺仪、加速度计、磁力计数据以及相机元数据，用于训练和评估视频去模糊模型。GyroVD-Real数据集包含真实世界模糊视频帧和传感器数据，用于评估模型在真实场景中的性能。The GyroVD-Syn dataset comprises synthetically generated blurry video frames, ground-truth frames, gyroscope, accelerometer, magnetometer data as well as camera metadata, and is used for training and evaluating video deblurring models. The GyroVD-Real dataset contains real-world blurry video frames and sensor data, which is employed to assess the performance of models in real-world scenarios.

原始信息汇总

数据集概述

GyroDVD 是一个基于陀螺仪（Gyro）的深度视频去模糊数据集，对应 CVPR 2026 论文《Gyro-based Deep Video Deblurring》。该数据集由 POSTECH、KOREATECH 和 Pika Labs 的研究者联合发布。

数据集组成

数据集包含两个主要部分，均通过 Hugging Face 发布：

• GyroVD-Syn（合成数据集）

  • 训练集：50,500 帧
  • 验证集：5,000 帧
  • 测试集：7,700 帧
  • 训练集、验证集和测试集均提供预计算的 tau 数据（仅训练时需要）
  • 训练集的噪声和饱和像素在训练过程中实时合成；验证集和测试集已预先生成

• GyroVD-Real（真实世界数据集）

  • 10,000 帧真实场景数据，用于评估

数据文件结构

GyroVD-Syn 结构示例：

GyroVD_Syn_train ├── 0413/VID_20250412_101526 │ ├── blur/ # 模糊帧图像 │ ├── gt/ # 真实清晰帧图像 │ ├── meta_info/ │ │ ├── gyro.csv # 陀螺仪数据 │ │ ├── accel.csv # 加速度计数据 │ │ ├── magnetic.csv # 磁力计数据 │ │ └── cam_metainfo.csv # 相机元数据 │ ├── rot/ # 预计算旋转矩阵 │ └── sat_mask/ # RSBlur 管线所需饱和掩码

GyroVD-Real 结构示例：

GyroVD-Real ├── 1029_GP/VID_20251029_013931 │ ├── blur/ # 模糊帧 JPEG 图像 │ ├── meta_info/ │ │ ├── gyro.csv # 陀螺仪数据 │ │ ├── accel.csv # 加速度计数据 │ │ ├── magnetic.csv # 磁力计数据 │ │ └── cam_metainfo.csv # 相机元数据

附加数据与模型

• 去模糊结果：已处理好的去模糊结果文件可通过 Hugging Face 获取
• 预训练模型：提供四种尺寸的模型权重（GyroDVD-48、64、96、128）及 RAFT-small 光流模型
• 传感器数据：为促进未来研究，额外提供了加速度计和磁力计数据

许可证

GyroVD 数据集采用 CC BY 4.0 许可证发布。

搜集汇总

数据集介绍

构建方式

在视频去模糊领域，传统方法常受限于运动估计的不精确性，而GyroVD-Syn与GyroVD-Real数据集另辟蹊径，通过融合陀螺仪等多模态传感器数据来突破这一瓶颈。GyroVD-Syn数据集基于合成管道构建，在训练阶段通过RSBlurPipeline在线仿真噪声与饱和像素，其包含约5.05万帧训练数据、5千帧验证数据及7.7千帧测试数据，每个样本均提供模糊帧、清晰真值、陀螺仪、加速度计、磁力计及相机元数据。GyroVD-Real数据集则采集自真实世界，包含1万帧实际场景的模糊图像，并同步记录传感器读数与相机参数，无需人工真值。

使用方法

使用者可通过Hugging Face平台直接下载数据集与预训练模型权重。针对GyroVD-Real和GyroVD-Syn，项目提供了独立的推理脚本，只需指定数据集根目录与输出路径即可快速复现去模糊结果。测试阶段，内置评估脚本支持在GyroVD-Syn上计算PSNR与SSIM，针对无真值的GyroVD-Real则采用TOP-IQA、BRISQUE和NIQE等无参考指标进行质量评价。训练时需下载预计算的时间积分参数'τ'，并利用分布式训练配置（如四卡GPU）启动多进程训练，整体使用流程遵循标准化深度学习框架，便于研究者直接移植与扩展。

背景与挑战

背景概述

在计算摄影与计算机视觉领域，由于相机抖动或快速运动导致的视频模糊长期以来困扰着高画质成像的追求。传统去模糊方法多依赖单帧图像或连续帧间的视觉特征，却在极度高动态场景下捉襟见肘。由POSTECH（浦项科技大学）主导，联合KOREATECH与Pika Labs的研究团队，于2026年在CVPR会议上提出了开创性的Gyro-based Deep Video Deblurring框架（GyroDVD），并同步发布了两个核心数据集：GyroVD-Syn与GyroVD-Real。前者由合成生成，包含逾5万帧训练数据及配套的陀螺仪、加速度计与磁力计信息；后者则提供10,000帧真实世界模糊视频，为从物理传感器信号融合角度解决视频去模糊难题提供了前所未有的标准化评测基准。该工作首次系统性地将惯性测量单元（IMU）数据与深度学习视频去模糊紧密结合，推动了多模态盲去模糊研究方向的发展。

当前挑战

视频去模糊本质上是一个病态逆问题，即在模糊过程中损失了高频纹理信息，仅依赖视觉线索难以精准恢复。Gyro-based方法虽然引入了陀螺仪信号作为运动先验，但仍面临两重核心挑战：其一，传感器噪声与模糊非线性模型间的适配难题——消费级IMU采集的角速度常受漂移与热噪声污染，如何从含噪数据中提取可靠的曝光期间相机旋转轨迹是一大瓶颈；其二，真实数据的GT（真实清晰帧）缺失——GyroVD-Real集因无法同时录制无模糊参考，评估不得不采用无参考指标（如BRISQUE、NIQE等），这些指标在严苛场景下准确性波动显著，制约了性能诊断的公平性。此外，合成数据（GyroVD-Syn）中尽管模拟了噪声与饱和像素，但真实世界镜头与场景的复杂光学效应（如滚转快门畸变、局部遮挡）尚难完全复现，导致模型在跨域迁移时存在泛化鸿沟。

常用场景

经典使用场景

在视频去模糊领域，传统方法多依赖像素级先验或纯图像信息，难以应对由复杂相机抖动导致的非均匀运动模糊。GyroVD-Syn与GyroVD-Real数据集提供了一种结合陀螺仪、加速度计与磁力计的多模态传感器数据范式。经典使用场景是基于陀螺仪轨迹引导的滚动快门去模糊任务，研究者可同时利用同步捕获的模糊帧与密集传感器读数，通过物理建模联合优化相机运动轨迹与清晰图像重建，显著提升高动态场景下的去模糊精度。

解决学术问题

该数据集解决了视频去模糊研究中两大核心学术难题：其一，缺乏真实场景下精确标注的传感器-图像配对数据，导致运动建模与模糊成因解耦困难；其二，现有合成数据与真实域之间存在的域差距，使算法泛化能力受限。GyroVD-Syn提供同步模拟的陀螺仪读数与精确的清晰/模糊帧对，支撑物理驱动模型的理论推导；GyroVD-Real则包含10000帧真实低光、高噪声模糊视频，填补了真实传感器去模糊基准的空白，推动非盲去模糊与盲去模糊算法的交叉验证。

实际应用

实际应用中，该数据集直接赋能智能手机、运动相机、无人机与安防监控等嵌入式平台。在手持设备拍摄场景中，陀螺仪数据可补偿光学防抖的局限性，在低照度或快速运动条件下有效抑制帧间模糊与卷帘快门畸变。此外，面向机器人视觉与自动驾驶，该数据集可用于训练鲁棒的视频稳定与实时去模糊模型，在复杂路况或震动环境中提升视觉感知的清晰度与可靠性，显著提升下游任务如目标检测与位姿估计的性能。

数据集最近研究

最新研究方向

针对视频去模糊领域长期受困于运动模糊与卷帘快门效应的难题，GyroVD-Syn与GyroVD-Real的发布标志着基于惯性测量单元的深度去模糊方法迈入新阶段。通过将陀螺仪、加速度计与磁力计等多模态传感器数据融入网络训练，研究者得以精确建模相机运动轨迹，从而在动态场景中实现像素级运动补偿。该数据集涵盖合成与真实双视角，尤其通过模拟噪声和过曝像素增强模型鲁棒性，为应对低光照、高速运动等极端场景提供了关键基准。结合CVPR 2026前沿成果，这一方向正推动视频去模糊从纯视觉估计向物理感知融合转型，对移动摄影、自动驾驶等实时应用领域具有深远影响。