动态非视线场景合成数据集

该数据集是由上海科技大学研究团队创建的，包含近20万个动态非视线场景的帧，用于训练和测试Transient Transformer模型。数据集由超过2000种不同的运动序列组成，涵盖了平移、旋转、身体移动等多种运动风格。通过模拟动态非视线场景，该数据集支持高帧率下非视线视频的实时重建。

This dataset was created by a research team from ShanghaiTech University. It contains nearly 200,000 frames of dynamic non-line-of-sight scenes, and is designed for training and testing the Transient Transformer model. The dataset comprises more than 2000 unique motion sequences, covering a wide variety of motion styles such as translation, rotation, bodily movement, and more. By simulating dynamic non-line-of-sight scenarios, this dataset supports real-time reconstruction of non-line-of-sight videos at high frame rates.

搜集汇总

数据集介绍

构建方式

动态非视线场景合成数据集的构建基于一种新型的瞬态变换器架构TransiT，旨在实现快速扫描下的实时非视线（NLOS）场景恢复。该数据集通过从公开的运动序列数据集中选取超过2000个运动序列，并结合不同的运动风格（如平移、旋转、身体运动等），生成了近20万帧的动态NLOS场景。为了弥合合成数据与真实测量数据之间的差距，研究团队设计了一种基于最大均值差异（MMD）的迁移学习方法，进一步提升了模型在真实数据上的表现。

使用方法

该数据集的使用方法主要围绕NLOS视频的高帧率重建展开。研究人员可以通过TransiT模型对稀疏的16×16扫描数据进行处理，生成高分辨率的64×64 NLOS视频，帧率可达每秒10帧。在使用过程中，用户首先需要对模型进行预训练，利用合成数据集进行初步优化，随后通过迁移学习方法在真实测量数据上进行微调。通过这种方式，TransiT能够在保持高帧率的同时，显著提升视频的重建质量，适用于自动驾驶、碰撞预防和灾后搜救等实际应用场景。

背景与挑战

背景概述

动态非视线场景合成数据集（Dynamic Non-Line-of-Sight Scene Synthesis Dataset）由上海科技大学信息科学与技术学院的研究团队于2025年提出，旨在解决非视线成像（NLOS）领域中的动态场景重建问题。该数据集的核心研究问题是如何在高速扫描条件下实现高质量的非视线视频重建，以支持自动驾驶、碰撞预防和灾后搜救等应用。研究团队通过设计一种名为TransiT的瞬态变换器架构，成功实现了在快速扫描下的实时非视线恢复。该数据集的构建基于大规模合成数据，包含近20万帧动态非视线场景，涵盖了多种运动风格和物体类型。这一成果显著推动了非视线成像领域的发展，尤其是在动态场景重建方面。

当前挑战

动态非视线场景合成数据集面临的主要挑战包括两个方面。首先，在领域问题方面，非视线成像需要在高速扫描条件下平衡帧率和图像质量。高速扫描虽然可以提高帧率，但会降低每帧的信息密度，导致信号噪声比下降，进而影响重建质量。其次，在数据集构建过程中，研究团队需要克服硬件限制和复杂的失真问题。快速扫描过程中，激光和探测器的响应时间会导致信号失真，尤其是在每点扫描时间极短的情况下。此外，合成数据与真实测量数据之间的差异也是一个重要挑战，研究团队通过设计最大均值差异（MMD）迁移学习方法，成功缩小了这一差距，但仍需进一步优化以应对更复杂的实际场景。

常用场景

经典使用场景

动态非视线场景合成数据集在非视线成像（NLOS）领域中被广泛用于高帧率视频重建的研究。该数据集通过模拟快速扫描下的动态场景，提供了丰富的时空信号，使得研究者能够在稀疏的瞬态数据下进行高质量的视频重建。经典的使用场景包括在机器人导航、自动驾驶和灾后救援等任务中，通过重建隐藏目标的动态信息，帮助系统做出实时决策。

解决学术问题

该数据集解决了非视线成像中高帧率与高质量图像之间的平衡问题。传统方法在提高帧率时往往牺牲了图像的分辨率或信噪比，而该数据集通过引入快速扫描下的失真模型，使得研究者能够在稀疏的瞬态数据下进行高效的重建。此外，该数据集还通过特征融合机制和时空Transformer架构，解决了动态场景中细节丢失和运动模糊的问题，显著提升了重建质量。

实际应用

在实际应用中，动态非视线场景合成数据集被用于开发实时非视线成像系统，特别是在自动驾驶和灾后救援等场景中。通过该数据集训练的模型能够在快速扫描下重建隐藏目标的动态信息，帮助系统实时感知周围环境中的潜在危险。例如，在自动驾驶中，系统可以通过重建拐角处的行人或车辆信息，提前做出避障决策；在灾后救援中，救援人员可以通过重建倒塌建筑物内的动态信息，快速定位被困人员。

数据集最近研究

最新研究方向

近年来，动态非视线场景合成数据集在非视线成像领域的研究中取得了显著进展。该数据集通过结合深度学习与瞬态光场分析，推动了高帧率、高质量的非视线视频重建技术的发展。特别是在自动驾驶、机器人导航和灾后救援等应用中，动态非视线成像的需求日益增长。最新的研究方向集中在如何通过稀疏扫描数据实现实时重建，同时保持高空间分辨率。例如，TransiT架构通过引入时空Transformer和特征融合机制，显著提升了从稀疏瞬态数据中提取动态场景信息的能力。此外，该领域还关注如何通过迁移学习弥合合成数据与真实测量数据之间的差距，从而提升模型在实际应用中的泛化性能。这些研究不仅推动了非视线成像技术的实用化，还为复杂场景下的实时动态重建提供了新的解决方案。

相关研究论文

• TransiT: Transient Transformer for Non-line-of-sight Videography

  上海科技大学信息科学与技术学院 · 2025年