HSD (heterogeneous stereo deblurring dataset)

HSD数据集是由釜庆国立大学和建国大学联合构建的异构立体去模糊基准数据集，旨在研究智能手机异构相机系统在硬件差异下导致的视间不对称模糊问题。该数据集包含384个场景序列，最终生成了总计3,300个图像对（训练集2,200对，测试集1,100对），数据来源于iPhone等商用智能手机同步采集的宽视角和超广角视频流，并经过设备级几何校正。数据集的构建通过多帧时序积分模拟超广角视图的曝光运动模糊，同时以宽视角作为清晰参考视图，从而在真实移动成像管道中实现对不对称模糊的受控评估。该数据集主要应用于计算机视觉和计算摄影领域，特别是异构立体图像恢复任务，为解决智能手机多相机系统中因硬件不对称性（如光学防抖缺失、光圈差异）引起的跨视图质量退化问题提供了专门的评估基准。The HSD Dataset is a heterogeneous stereo deblurring benchmark dataset jointly constructed by Pukyong National University and Konkuk University, aiming to investigate the inter-view asymmetric blur problem caused by hardware differences in heterogeneous camera systems of smartphones. It contains 384 scene sequences, ultimately generating a total of 3,300 image pairs, with 2,200 pairs for the training set and 1,100 pairs for the test set. The data is sourced from synchronously captured wide-angle and ultra-wide-angle video streams using commercial smartphones such as iPhone, and has undergone device-level geometric calibration. The dataset is built by leveraging multi-frame temporal integration to simulate exposure-induced motion blur for ultra-wide-angle views, while taking wide-angle views as sharp reference views, thereby enabling controlled evaluation of asymmetric blur in real-world mobile imaging pipelines. This dataset is mainly applied in the fields of computer vision and computational photography, particularly for heterogeneous stereo image restoration tasks, providing a dedicated evaluation benchmark to address cross-view quality degradation issues caused by hardware asymmetries in smartphone multi-camera systems, such as lack of optical image stabilization and aperture differences.

原始信息汇总

数据集概述

• 数据集名称: Heterogeneous Stereo Deblurring (HSD) 数据集
• 论文标题: A Benchmark for Heterogeneous Stereo Deblurring with Physically- and Epipolar-constrained Cross Attention
• 会议: ECCV 2026
• 许可证: 数据集采用 CC BY 4.0 许可证

数据集简介

HSD 数据集专为解决异构立体去模糊问题而构建，针对现代智能手机中不同摄像头模块导致的非对称运动模糊伪影。数据集来源于真实智能手机的立体捕获，通过多帧集成技术构建而成。

数据集结构

Heterogeneous-Stereo-Deblurring/ ├── train/ │ ├── input/ │ ├── target/ │ └── guide/ └── test/ ├── input/ ├── target/ └── guide/

• train/: 训练集，包含输入图像（input）、目标清晰图像（target）和引导图像（guide）。
• test/: 测试集，结构与训练集相同。

下载地址

• Hugging Face
• Google Drive

实验结果

在 HSD 数据集上，使用 PECA 模块增强的模型在立体输入下取得了更优的性能：

骨干网络	变体	输入类型	PSNR (dB)	SSIM
XYDeblur	基线	单目	30.76	0.9444
XYDeblur	PECA	立体	32.22	0.9620
Restormer	基线	单目	30.94	0.9444
Restormer	PECA	立体	32.47	0.9636
NAFNet	基线	单目	32.16	0.9579
NAFNet	PECA	立体	32.92	0.9669

引用信息

请使用以下 BibTeX 引用该工作：

@inproceedings{shin2026PECA, title={A Benchmark for Heterogeneous Stereo Deblurring with Physically- and Epipolar-constrained Cross Attention}, author={Shin, Hoju and Kim, Jiah and Kim, Seung-Wook and Ji, Seowon}, booktitle={ECCV}, year={2026} }

搜集汇总

数据集介绍

构建方式

HSD数据集的构建源于智能手机异构立体捕获的现实挑战，其中宽角和超宽角模组因硬件差异导致系统性模糊不对称。该数据集采用真实智能手机的同步宽/超宽视频序列，利用设备内置的几何校正管道实现极线对齐。为模拟曝光引发的运动模糊，对超宽角帧进行多帧时间积分，以中心帧为清晰真值，同步宽角帧作为锐利参考。采集涵盖384个室内外场景，通过峰值信噪比过滤近静态样本（排除>33dB的样本），最终得到256个训练序列（2200对）和128个测试序列（1100对），所有图像经双三次插值统一缩放至720×1280分辨率。

使用方法

HSD数据集支持异构立体去模糊的端到端训练与评估，可采用论文提出的PECA模块改进多种骨干网络（如CNN的XYDeblur、Transformer的Restormer、NAFNet）。使用时需加载同步的宽角清晰参考图和超宽角模糊图，输入分辨率推荐720×1280。PECA模块通过物理导出的视差上界（约70像素，下采样4倍后为17个特征偏移）和极线方向约束，将交叉注意力限制在局部一维窗口内（默认窗口大小Dmax=5），结合余弦相似度与残差融合实现稳健特征传递。训练采用AdamW优化器，400K迭代，随机裁剪128×128或256×256补丁，并添加伽马与噪声增强。

背景与挑战

背景概述

在现代智能手机中，异构多摄像头系统已蔚然成风，其主摄与超广角模组因硬件差异常导致显著的模糊不对称性——主摄受益于明亮光圈与光学防抖，而超广角摄像头则因缺乏稳定机制而对运动更为敏感，使得立体捕捉中常出现一图清晰、一图模糊的窘境。针对这一实际困境，来自韩国釜庆大学与建国大学的研究团队于2026年提出了异构立体去模糊数据集（HSD），旨在为异构立体系统中的非对称模糊复原建立专用基准。HSD数据集基于实际智能手机的同步广角与超广角视频序列，通过多帧时间积分模拟曝光引发的模糊退化，并直接采用设备提供的极线对齐输出，从而将几何对齐与模糊复原解耦，为后续方法提供了贴近真实流水线的评测平台。该数据集的问世填补了异构立体去模糊领域缺乏专用基准的空白，对推动智能手机成像质量提升与沉浸式XR内容捕获具有重要意义。

当前挑战

HSD数据集主要面临两大层面挑战。在领域问题层面，异构立体相机系统引发的硬件诱导模糊不对称性构成了核心挑战——现有立体复原方法多假设双视角均匀退化、对称处理，而HSD场景中超广角视角持续遭受系统性模糊，且需借助清晰广角参考进行非对称复原，这对跨视角对应关系的可靠性提出了严苛要求。在数据集构建层面，如何在实际智能手机上获取真实的模糊-清晰配对是巨大难点：受限于商用设备帧率，无法直接采用高速相机捕获方案，故需通过时间积分模拟曝光过程；然而，该策略必须甄别并剔除运动微弱的近静态样本，以防模糊程度不足而丧失评测价值。此外，数据需在保持设备原生处理链路、避免额外标定的同时，确保多样化的场景覆盖与深度变化，最终经由精细的PSNR阈值筛选与序列级划分，才得以生成非平凡、可复现的评测基准。

常用场景

经典使用场景

HSD数据集聚焦于异构立体去模糊这一前沿任务，其最经典的使用场景在于评估和训练面向智能手机异构多摄像头系统的去模糊算法。该数据集通过同步采集主摄广角与超广角视频序列，并利用时间积分模拟超广角镜头因缺乏光学防抖而产生的运动模糊，从而真实再现了硬件差异导致的非对称图像退化。研究者可借此基准，在受控条件下验证模型对模糊程度不均的立体图像对的恢复能力，尤其适用于探索如何利用清晰广角视图引导退化视图的修复。

解决学术问题

该数据集填补了异构立体去模糊领域专用基准的空白，解决了学术界长期缺乏针对硬件诱导非对称模糊的标准化评估平台的问题。现有方法多假设同构相机系统，忽视了实际智能手机中不同镜头模块在光圈、防抖性能上的显著差异。HSD通过提供几何校正后的真实立体捕获数据，使研究者得以系统研究跨视角非对称退化问题，推动从对称修复到非对称引导修复的研究范式转变，为构建更贴合物理实际的去模糊模型奠定了数据基础。

实际应用

在实际应用中，HSD数据集紧密服务于现代智能手机的沉浸式内容创作场景。随着XR设备和双目显示技术的发展，用户越来越依赖智能手机进行立体摄影和3D内容捕捉。该数据集训练的去模糊模型可直接部署于手机成像管线，有效修复超广角镜头因手持抖动或长时间曝光产生的模糊，显著提升立体照片和视频的观感质量。此外，其引导式修复机制也适用于安全监控、无人机视觉等异构多相机系统，帮助在低质视图中恢复关键细节。

数据集最近研究

最新研究方向

在异构立体相机系统中，硬件诱导的模糊不对称性已成为当前图像去模糊领域的前沿研究方向。随着多摄像头智能手机的普及，主摄与超广角模组之间因光圈、光学防抖等差异导致的画质鸿沟日益凸显。近期研究聚焦于利用几何约束的跨视图注意力机制——例如物理与极线约束交叉注意力（PECA）——通过将匹配搜索限制在由光学参数推导的视差上界内的局部一维极线窗口，在避免全局密集匹配计算开销的同时，实现鲁棒的异质特征融合。这一方向突破了传统同构立体去模糊方法的对称性假设，为移动摄影中X/增强现实内容的沉浸式捕捉提供了具有实际部署价值的物理可解释方案，其影响延伸至智能手机计算摄影与多模态三维重建等交叉领域。

相关研究论文

• A Benchmark for Heterogeneous Stereo Deblurring with Physically- and Epipolar-constrained Cross Attention

  釜庆国立大学·智能机器人工程系；建国大学·计算机科学与工程系 · 2026年